02. Topic, Partition, Segment

• Producer: 메시지를 생산(Produce)해서 kafka의 Topic으로 메시지를 보내는 애플리케이션

• Consumer: Topic의 메시지를 가져와서 소비(Cosume)하는 애플리케이션

• Consumer Group: Topic의 메시지를 사용하기 위해 협력하는 consumer들의 집합

Producer와 Consumer의 기본 동작 방식

• Producer와 Consumer는 서로 알지 못하며, Producer와 Consumer는 각각 고유의 속도로 Commit Log에 Write 및 Read를 수행

• 다른 Consumer Group에 속한 Consumer들은 서로 관련이 없으며, Commit Log에 있는 Event(Message)를 동시에 다른 위치에서 Read할 수 있음

Commit Log 추가만 가능하고 변경 불가능한 데이터 스트럭처 데이터는 항상 로그 끝에 추가되고 변경되지 않음.

Offset 각 파티션에서 부여한 메시지의 일련번호.

• 제어에 사용되는 오프셋의 종류

  1. Log-End-offset(LEO) : 파티션 데이터의 끝을 나타낸다.

  2. Current Offset : 컨슈머가 어디까지 메시지를 읽었는가를 나타낸다.

• LEO는 브로커에 의해 관리 및 업데이트.

• Current Offset은 컨슈머 그룹마다 보관되어 관리 및 업데이트.

• Commit Offset은 컨슈머의 오프셋 커밋요청을 계기로 업데이트. 특정 토픽에 대해 여러 컨슈머 그룹이 메시지를 취득하는 경우 파티션에 대한 Commit Offset도 컨슈머 그룹 숫자만큼만 존재한다.

Consumer Lag = LEO와 Current Offset의 차이

Logical View

Physical View

Topic

• Kafka 안에서 메시지가 저장되는 장소, 논리적인 표현

Partition

• Commit Log, 하나의 Topic은 하나 이상의 Partition으로 구성 병렬처리 향상을 위해서 다수의 Partition 사용

• Partition 번호는 0 부터 시작하고 오름차순

• Topic 내의 Partition 들은 서로 독립적임

• Partition 에 저장된 데이터(Message)는 변경이 불가능(Immutable)

• Partition은 Segment File들로 구성

sagement

• 메시지가 저장되는 실제 물리 File segment file이 지정된 크기보다 크거나 지정된 기간보다 오래되면 새 파일이 열리고 메시지는 새파일에 추가됨

• Topic 생성시 Partition 개수를 지정하고, 각 Partition은 Broker들에 분산되며 Segment File들로 구성됨

• Rolling Strategy: log.segment.bytes(default 1GB), log.roll.hours(default 168hours)