728x90 반응형 연동4 ELK + 내장 Filebeat 2 (Kafka 얹기) https://samori.tistory.com/119 ELK + 내장 Filebeat samori.tistory.com에 이어 Kafka라는 데이터 스트리밍을 제공하는 오픈 소스 플랫폼을 연결해서 파일비트와 ELK 사이에 둘 것이다.왜?아래와 같은 장점이 있기 때문이다.ScalabilityFault ToleranceReal-Time AnalyticsLoad Management 다 중요하지만 Fault Tolerance와 Load Management가 핵심인데 바로 데이터 유실 방지와 분산 처리이다.아래는 샘플 Compose 파일로 하나의 Kafka 서비스가 아닌 3개의 서비스를 띄우고 이를 연결해준 것을 볼 수 있다.이는 Fault Tolerance(데이터 유실 방지)와 Load Management(분.. 2025. 4. 8. PAT(Personal Access Token)로 HTTPS에 호스팅 된 Gitlab CE 접속하기 + SourceTree 연동 해당 에러를 마주하게 되면 해결해주겠다.fatal: credential-cache unavailable; no unix socket supportremote: HTTP Basic: Access denied. The provided password or token is incorrect or your account has 2FA enabled and you must use a personal access token instead of a password. PAT를 만드는 법은 많은 블로그에도 설명이 되어있다.가장 간단하게 설명한 블로그의 포스팅을 공유한다.https://4int.tistory.com/56 Edit profile > 좌측의 Access Tokens 클릭 2. Access Token 발급 받기.. 2024. 7. 11. [Windows] Kafka란? Kafka + Filebeat 설치 및 ELK 연동까지 KAFKA란? 링크드인에서 만든 메세지 큐로 크게 4가지 장점이 있어 ELK Stack에서도 많이 사용된다. 1. 비동기(Asynchronous) 메세지를 큐에 넣어두기 때문에 나중에 처리할 수 있어 효율적. 동기화 방식은 많은 메시지를 전송할 경우 병목 현상이 생길 수도 있다. 2. 낮은 결합도(Decoupling) 생산자 서비스와 소비자 서비스가 독립적으로 행하면서 서비스간 결합도가 낮아진다. Kafka가 ELK로 메세지를 전송하는 것이 아니라 ELK가 Kafka를 구독하는 방식이기 때문에 파일비트도, ELK도 서로를 모른채 중간단계인 Kafka만 알면 된다. 3. 탄력성(Resilience) 서비스가 다운되더라도 어플리케이션은 다운되지 않으며 메시지는 메시지 큐에 남아있기 때문에 서비스 재시작 시 .. 2023. 6. 14. 로컬 SpringBoot 와 가상 환경 간의 ELK 연동 -1 보호되어 있는 글 입니다. 2023. 4. 27. 이전 1 다음 728x90 반응형
