05. Consumer

Consumer

Partition으로부터 Record를 가져옴(Poll)

Consumer Offset

• consumer가 자동이나 수동으로 읽은 위치를 commit하여 다시 읽음을 방지

• __consumer_offsets Topic에 ConsumerGroup, Topic, Partition, next Offset 정보 저장.

단일 Consumer

Consuming as a Group

• 동일한 group.id로 구성된 모든 Consumer들은 하나의 Consumer Group을 형성

• 4개의 파티션이 있는 Topic을 consume 하는 4개의 Consumer가 하나의 Consumer Group에 잇다면, 각 Consumer는 정확히 하나의 Partition에서 Record를 consume함.

• Partition은 항상 Consumer Group 내의 하나의 Consumer에 의해서만 사용됨

• Consumer는 주어진 Topic에서 0개 이상의 많은 Partition을 사용할 수 있음.

Consuming as a Group

Multi Consumer Group

• Partition을 분배하여 Consume

• 동일한 group.id로 구성된 모든 Consumer들은 하나의 Consumer Group을 형성

• Consumer Group의 Consumer들은 작업량을 어느 정도 균등하게 분할함

• 동일한 Topic에서 Consume하는 여러 Consumer Group이 있을 수 있음

Multi Consumer Group

Key를 사용하는 경우

• Partition별 동일한 Key를 가지는 메시지 저장 → key를 통해 저장될 Partition을 고정할 수 있다.

Message Ordering(순서)

• Partition이 2개 이상인 경우 모든 메시지에 대한 전체 순서 보장 불가능

• Partition을 1개로 구성하면 모든 메시지에서 전체 순서 보장 가능 → 처리량 저하, 병렬 처리의 이점을 잃게 된다.

• 데이터 순서 보장의 필요성에 대한 정확한 판단이 필요 → 대부분의 경우, Key로 구분할 수 있는 메시지들의 순서 보장이 필요한 경우가 많다.

• 동일한 Key를 가진 메시지는 동일한 Partition에만 전달되어 Key 레벨의 순서 보장 가능 → 멀티 Partition 사용 가능

• 운영중에 Partition 개수를 변경하게 되면 순서 보장이 되지 않는다.

Cardinality(고유성)

• 특정 데이터 집합에서 유니크(Unique)한 값의 개수

• Key Cardinality는 Consumer Group의 개별 Consumer가 수행하는 작업의 양에 영향

• Key 선택이 잘못되면 작업 부하가 고르지 않을 수 있다.(skewed 발생)

• Key는 Integer, String 등과 같은 단순한 유형일 필요가 없다.

• Key는 Value와 마찬가지로 Avro, Json 등 여러 필드가 잇는 복잡한 객체 일 수 있다.

• 따라서, Partition 전체에 Record를 고르게 배포하는 Key를 만드는 것이 중요

Consumer Failure

• 장애 발생 시, Consumer Rebalancing 발생

• Consumer Group 내의 다른 Consumer가 실패한 Consumer를 대신하여 Partition에서 데이터를 가져와서 처리

• Partition은 항상 Consumer Group내의 하나의 Consumer에 의해서만 사용

• Consumer는 주어진 Topic에서 0개 이상의 많은 Partition을 사용 가능