728x90 반응형 elk7 ELK + 내장 Filebeat 2 (Kafka 얹기) https://samori.tistory.com/119 ELK + 내장 Filebeat samori.tistory.com에 이어 Kafka라는 데이터 스트리밍을 제공하는 오픈 소스 플랫폼을 연결해서 파일비트와 ELK 사이에 둘 것이다.왜?아래와 같은 장점이 있기 때문이다.ScalabilityFault ToleranceReal-Time AnalyticsLoad Management 다 중요하지만 Fault Tolerance와 Load Management가 핵심인데 바로 데이터 유실 방지와 분산 처리이다.아래는 샘플 Compose 파일로 하나의 Kafka 서비스가 아닌 3개의 서비스를 띄우고 이를 연결해준 것을 볼 수 있다.이는 Fault Tolerance(데이터 유실 방지)와 Load Management(분.. 2025. 4. 8. ELK + 내장 Filebeat 소스 가져오기: git clone https://github.com/deviantony/docker-elk.git 컴포즈로 ELK 셋업: docker compose up setup Filebeat 를 추가한 Main Compose 파일 만들기services: # Setup service (unchanged) setup: profiles: - setup build: context: setup/ args: ELASTIC_VERSION: ${ELASTIC_VERSION} init: true volumes: - ./setup/entrypoint.sh:/entrypoint.sh:ro,Z - ./setup/lib.sh:/lib.sh:.. 2025. 3. 26. [Windows] Kafka란? Kafka + Filebeat 설치 및 ELK 연동까지 KAFKA란? 링크드인에서 만든 메세지 큐로 크게 4가지 장점이 있어 ELK Stack에서도 많이 사용된다. 1. 비동기(Asynchronous) 메세지를 큐에 넣어두기 때문에 나중에 처리할 수 있어 효율적. 동기화 방식은 많은 메시지를 전송할 경우 병목 현상이 생길 수도 있다. 2. 낮은 결합도(Decoupling) 생산자 서비스와 소비자 서비스가 독립적으로 행하면서 서비스간 결합도가 낮아진다. Kafka가 ELK로 메세지를 전송하는 것이 아니라 ELK가 Kafka를 구독하는 방식이기 때문에 파일비트도, ELK도 서로를 모른채 중간단계인 Kafka만 알면 된다. 3. 탄력성(Resilience) 서비스가 다운되더라도 어플리케이션은 다운되지 않으며 메시지는 메시지 큐에 남아있기 때문에 서비스 재시작 시 .. 2023. 6. 14. ELK Logstash를 활용한 로그 Parsing (Grok Pattern) 꿀팁 5가지 보호되어 있는 글 입니다. 2023. 5. 30. 로컬 SpringBoot 와 가상 환경 간의 ELK 연동 -3 (파일 출력) 보호되어 있는 글 입니다. 2023. 4. 27. 로컬 SpringBoot 와 가상 환경 간의 ELK 연동 -2 보호되어 있는 글 입니다. 2023. 4. 27. 로컬 SpringBoot 와 가상 환경 간의 ELK 연동 -1 보호되어 있는 글 입니다. 2023. 4. 27. 이전 1 다음 728x90 반응형
