01. Apache Kafka

Apache Kafka란?

Data in Motion Platform for Enterprise(Event Streaming Platform)

Event: 비지니스에서 일어나는 데이터를 의미

• 비지니스로 인해 데이터가 생성되는 것.

  • 웹 사이트에서 무언가를 클릭.

  • 청구서 발행

• 빅 데이터의 특징을 가짐

• 대용량의 데이터 발생

Event Stream: 연속적인 많은 이벤트들의 흐름을 의미

• 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위한 제품.

• LinkedIn 에서 최초 개발.

  • 기존의 Messaging Platform으로 처리 불가능 → 이벤트 스트림 처리를 위해 개발

  • 웹사이트의 로그를 처리하여 웹사이트 활동을 추적하는것을 목적으로 개발되었다. (사용자의 페이지 뷰&광고의 이용 등)

카프카 이전 제품(링크드인의 요구사항을 충족하지 못한 부분)

1. 메시지 큐

   • 한 건의 레코드 단위로 실시간 처리를 위한 것.(WebSphere MQ,Active MQ, Rabbit MQ, 등)

   • 강력한 전달 보증이 오히려 오버 스팩.(링크드인은 '높은 처리량'의 우선순위가 더 높았다.)

   • 스케일 아웃이 용이 하지 않았다.

   • 메시지가 대량으로 쌓이는 것을 예상하지 않았다.

2. 로그 수집 시스템

   • 주로 웹 서버 등의 프론트엔드 서버의 로그를 수집하기 위한 것.(Scribe, Flume, 등)

   • HDFS(Hadoop Distributed File System)로 데이터 축적과 배치 처리만 고려.

   • 어려운 API

   • 수신하는 쪽이 임의로 메시지를 수신하기 어렵다.

3. ETL (Extract, Transform, Load) 도구

   ETL: 데이터 발생원에서 데이터를 추출하고 필요에 따라 변환해 데이터베이스와 데이터 웨어하우스에 로드하는 기능을 갖추고 있다.(DataStage, Interstage, Cosminexus, Informatica PowerCenter, Talend, 등)

   • 데이터 파일 단위로 다룬다.(레코드 단위로 다룰 수가 없었다.)

   • 수신하는 쪽이 임의로 메시지를 수신하기 어렵다.

특징

1. 이벤트 스트림을 안전하게 전송(pub-sub 구조)

2. 이벤트 스트림을 디스크에 저장

3. 이벤트 스트림을 분석 및 처리

관련 기업 Confluent

• kafka 창시자가 설립

• 2014년 설립

장점

• 고성능(고스팩의 장비를 요구하지 않는다.)

• 기존의 message platform 대비 월등한 처리량(처리량이 증가에 따라 성능 증가)

Benchmarking Kafka vs. Pulsar vs. RabbitMQ: Which is Fastest? (confluent.io)

1. 확장성 : 여러 서버로 '확장 구성'이 가능, 데이터에 양에 따라 시스템 확장이 가능.

2. 영속성 : 수신한 데이터를 '디스크에 유지' 할 수 있기 때문에 언제든지 데이터 접근.

3. 유연성 : '연계할 수 있는 제품이 많기' 때문에 제품이나 시스템을 연결하는 허브 역할.

4. 신뢰성 : '메시지 전달 보증' 데이터의 분실을 걱정하지 않아도 된다.

사용 사례

Event가 사용되는 모든 곳에서 사용

• Messaging system

• IOT 디바이스로부터 데이터 수집

• 애플리케이션에서 발생하는 로그 수집

• Realtime Event Stream Processing (Fraud Detection, 이상 감지 등)

• DB 동기화 (MSA 기반의 분리된 DB간 동기화)

• 실시간 ETL

• Spark, Flink, Storm, Haddop과 같은 빅데이터 기술과 같이 사용

산업 분야별 사례

• 교통: 운전자-탑승자 매치, 실시간 차량 진단

• 금융: 사기 감지, 중복 거래 감지, 거래, 위험 시스템

• 오락: 실시간 추천, 사기 감지

• 온라인 마켓: 실시간 재고 정보, 대용량 주문의 안전한 처리