01. Kafka 간단 요약

Kafka의 종류

1. Apache Kafka

   • 오픈 소스로 Apache 2.0 라이센스

2. Confluent Kafka

   • Enterprise Kafka service 제공

   • Comunity, Enterprise 두가지 라이센스로 구성

     • Comunity: 컨플루언트 플랫폼을 이용하여 컨플루언트에서 제공하는 SAS형태로 서비스 제공하는 것 금지.

     • Enterprise: 연간 구독형 라이센스로 컨트롤 센터, LDAP ****인증, 스키마 벨리데이션, 등의 기능 제공. (프리미엄 커넥터의 사용이 큰 장점)

Kafka 활용사례

데이터 파이프라인

데이터 파이프라인(Data Pipeline)

중간에 사람의 개입 없이 데이터를 오염, 중복, 유실과 같은 결함없이 수집, 저장, ETL(Extract, Transform, Load)이 가능하도록 일련의 흐름을 만들어 주는 과정

시스템 모니터링

• 서버의 로그를 취합하여 특정 에러 로그가 임계치 이상인 경우 알람

• 키바나(Kibana), 그라파나(Grafana) 대쉬보드 활용

• apache, nginX, python 로그 수집 또한 가능

• 스프링 등의 자바 기반 서버에서 Log4j, Logback에서 카프카 appender 지원.

메시징 허브

Kafka 활용 전

• 배포나 장애로 인해 오류 발생 가능성이 존재

• 장애 발생시 크리티컬한 이슈가 발생

• 전체 시스템간에 종속성이 증가

Kafka 활용

• 전체 시스템 간에 느슨한 결합

• 배포나 장애시 메시지 유실로 인한 오류로 부터 유연한 아키텍처를 확보

• 스케일 아웃에 용이