04. Apache Kafka를 모니터링 할 수 있는 도구는?

유형별 모니터링 도구

지표를 수집하는 방법 및ㅊ 지표의 시각화 방법에 따른 분류

• 직접 조회

  • JMX Metric 직접 수집

  • jconsole, jxm 등

• 오픈소스 SW 설치

  • 무료, OSS 장단점 존재

  • CMAK, AKHQ 등

• 상용 서비스 구매

  • 다양한 기능 제공

  • Confluent, DataDog 등

• Apache Kafka 모니터링 시스템 직접 구축

  • Elastic Stack 기반

  • Prometheus + Grafana 기반

직접 조회

Jconsole

• Jconsole Tool을 통해 Kafka Broker에 직접 접속하여 정보 조회 (Broker별 수집)

JMX Tool

Console에서 직접 Kafka Broker에 연결하여 metric 조회

오프소스

CMAK

Broker 별로 사전에 정의된 metric을 조회 가능 (사용자가 metric을 추가, 수정하기 어려움)

Topic 별로 사전에 정의된 metric을 조회 가능 (partition 재조정 같은 운영 기능 제공)

AKHQ

Topic 별로 사전에 정의된 metric을 조회 가능

상용 서비스

DataDog

서비스 가입 후, 각 Broker에 Agent를 설치하면 기본 모니터링 dashboard를 제공

모니터링 시스템 구축

Elastci Stack 기반

Elastic Stack(Elasticsearch, Logstash, Kibana)를 이용하여 실시간 jmx metric 수집 및 시각화

모니터링 유형별 특징

수집 방식에 따라서 운영 편의성, 장/단점, 기능 등이 다르며, 업무 목적에 따라서 선택 필요