01. Kafka Streams, ksqlDB

Realtime Event Stream Processing

(실시간 이벤트 스트림 데이터 분석 및 처리)

• 실시간 이벤트 스트림을 실시간으로 분석하여, 실시간으로 빠르게 대응하기 위한 기술

• 대용량 이벤트 스트림 데이터를 실시간으로 분석 및 처리는 요구사항은 다양함

  • 교통

    • 실시간으로 발생하는 승객 및 차량의 GPS 정보를 기반으로 분석 및 처리

  • 금융

    • 실시간으로 발생하는 송금 및 결재 정보를 기반으로 분석

  • 오락

    • 실시간으로 발생하는 무기거래 정보를 기반으로 분석

  • 온라인 마켓

    • 실시간으로 발생하는 거래 및 재고 정보를 기반으로 처리

• Realtime Event Stream Processing 사례

  • ex) 생산 라인에서의 압력, 온도 데이터의 평균값을 통해 이슈 체크

Database에 저장 후 분석 및 처리하는 것이 아니라, Kafka에 있는 움직이는 데이터(Data in Motion)를 바로 분석 처리하는 것이 핵심!

기존에 사용하던 Realtime Event Stream Processing 방법

• Apache Spark

  • UC버클리대학교에서 개발(2009, 2010 BSD, 2013 ASF)

  • 범용적인 목적을 지닌 분산 클러스터 컴퓨팅 프레임워크

  • MapReduce 형태의 클러스터 컴퓨팅 패러다임의 한계를 극복하고자 등장

  • Spark Cluster를 구성해야 하며, 이를 관리하는 Cluster Manager와 데이터를 분산 저장하는 Distributed Storage System이 필요 - 사용이 어려움

• Storm

  • 2011년에 개발된 후 트위터(Twirrer.Inc)에 의해 오픈소스화(2014)

  • 주로 Clojure 프로그래밍 언어로 작성된 분산형 스트림 프로세싱 프레임워크

  • 별도의 Storm Cluster를 설치 구성

  • 상태 관리가 지원되지 않아 Aggregation, Windows, Water Mark 등을 사용할 수 없기 때문에 고급 분석에 제약

• Flink

  • 베를린 TU대학교에서 시작(2010,2014 오픈소스화)

  • 통합 스트림 처리 및 Batch 처리 프레임워크

  • Java 및 Scala로 작성된 분산 스트리밍 Data Flow 엔진

  • 사용자의 Stream Processing Code는 Flink Cluster에서 하나의 Job으로 배포 및 실행

MapReduce는 프로그래밍 모델임과 동시에 구현체를 부르는 말로, 그 구현체는 ‘분산처리엔진’ 역할을 하는 하둡의 중심 모듈 중 하나 입니다. 각 단계는 입력과 출력으로써 키-값 쌍을 가지고 있고, 그 타입은 프로그래머가 선택합니다. 또한, 맵과 리듀스 함수도 프로그래머가 직접 작성하게 됩니다 Map : 흩어져 잇는 데이터를 Key, Value의 형태로 연관성 있는 데이터 분류로 묶는 작업 Reduce : Map화한 작업 중 중복 데이터를 제거하고 원하는 데이터를 추출하는 작업

Kafka 진영에서 나온 Realtime Event Stream Processing 방법

Kafka Streams

• Event Streaming용 Library(Java, Scala)

• Kafka 0.10.0.0에 처음 포함(2016)

• Framework 가 아님 - 별도의 Cluster 구축이 불필요

• application.id로 KStreams Application을 grouping

• groupBy, count, filter, join, aggregate 등 손쉬운 스트림 프로세싱 API 제공

ksqlDB

• Event Streaming Database(또는 SQL엔진) - RDBMS/NoSQL DB가 아님

• Confluent Community License(2017)

• 간단한 Cluster 구축 방법 - 동일한 ksql.service.id로 ksqlDB를 여러 개 기동

• 여러 개의 Cluster는 ksql.service.id 값을 서로 다르게 하기만 하면 됨

• SQL과 유사한 형태로 ksqlDB에 명령어를 전송하여 스트림 프로세싱 수행

Kafka 기반 Event Stream Processing 방식

• Kafka Publish/Subscribe

  • 개발자가 직접 개발

• Kafka Streams

  • 메소드를 통해 개발

• ksql DB

  • 쿼리문을 통한 개발

SQL 개발 vs Java Application 개발

• ksqlDB

  • SQL을 사용하여 실시간 이벤트 스트리밍 처리용 애플리케이션을 작성하기 위한 Apache Kafka 스트리밍 DB(SQL엔진)

• Kafka Streams

  • Java 및 Scala로 실시간 이벤트 스트리밍 처리용 애플리케이션 및 마이크로 서비스를 작성하기 위한 Apache Kafka Streams 라이브러리

Kafka와의 상호작용 구조

Broker와 별개(다른 장비)로 구성

application.id를 통한 그룹

Data Flow

개발 방식 및 배포 방식