Machine-geon TIL
  • 😎Today I Learned
  • JPA
    • 섹션 1. JPA 소개
      • 소개(about JPA)
    • 섹션 3. 영속성 관리 - 내부 동작 방식
      • 영속성 컨텍스트(Persistence Context)
      • 플러시 (Flush)
      • 준영속 상태 (Detached)
    • 섹션 4. 엔티티 매핑
      • 객체와 테이블 매핑 (mapping)
      • 데이터베이스 스키마 자동 생성 (DB Schema auto create)
      • 필드와 컬럼 매핑 (feild, column mapping)
      • 기본키 매핑 (Primary key Mapping
    • 섹션 5. 연관관계 매핑 기초
      • 단방향 연관관계 (one-way association)
      • 양방향 연관관계와 연관관계의 주인 (Bidirectional associations and masters of associations)
    • 섹션 6. 다양한 연관관계 매핑
      • 다양한 연관관계 매핑(relationship mapping)
    • 섹션 7. 고급 매핑
      • 고급 매핑(advanced mapping)
    • 섹션 8. 프록시와 연관관계 관리
      • 프록시
      • 즉시 로딩과 지연 로딩
  • GrpahQL
    • GraphQL 기초
      • with Java
  • Docker
    • 도커 기본(Docker Basic)
    • 기본적인 도커 클라이언트 명령어(Docker command)
    • 도커 이미지 만들기(Make image)
    • 도커를 이용한 Node.js 어플(Docker with Node.js App)
    • Docker Compose
    • test & deploy
  • Project
    • SSAFY
      • Demacia
      • 당근?빠따!
      • BorA
    • 인공지능 과정
      • 오! 톡해~
      • 2019 창원시 빅데이터 공모전
      • ANU_IPSI
      • Beta Gogh
  • IT Knowledge
    • HTTP 웹 기본 지식
    • IT 관련 용어
    • Security
    • A/B Test
    • 이슈
  • Spring
    • Annotation
    • API
      • File.separator
  • JavaScript 기초 문법
  • 프로젝트 관리
    • 소나큐브(SonarQube)
    • 스웨거(Swagger) 3.0.0 with yaml
    • 더 자바, 애플리케이션을 테스트하는 다양한 방법
      • JUnit5
        • JUnit 5란?
    • VScode로 SSH를 통해 원격서버 접속
    • Jira 설치
  • Java
    • API
      • Optional
      • 함수형 인터페이스
    • 연동
      • JIRA (with Java)
  • Kafka
    • Kafka 완전 정복 : 클러스터 구축부터 MSA 환경 활용까지
      • Part 1. Confluent 엔지니어가 설명해주는 Apache Kafka (기본/심화 개념, 아키텍처와 생태계)
        • Ch 01. Apache Kafka 기본 개념 및 이해
          • 01. Apache Kafka
          • 02. Topic, Partition, Segment
          • 03. Broker, Zookeeper
          • 04. Producer
          • 05. Consumer
          • 06. Replication
          • 07. In-Sync Replicas
        • Ch 02. Apache Kafka 심화 개념 및 이해
          • 01.Producer Acks, Batch, Page Cache, Flush
          • 02.Replica Failure
          • 03.Replica Recovery
          • 04.Consumer Rebalance
          • 05.Partition Assignment Strategy
          • 06.CooperativeStickyAssignor
          • 07.KafkaLogFile
          • 08.ExactlyOnceSemantics(EOS)
          • 09.ExactlyOnceSemantics(EOS)2
        • Ch 03. Apache Kafka 구성 및 관리
          • 01.ApacheKafkaandConfluentReferenceArchitecture
          • 02.KafkainRealEnvironment
          • 03.Installation,ClusterConfiguration
          • 04.LogRetention,CleanupPolicy
          • 05.KafkaClusterUpgrade,Expansion,Shrink
        • Ch04.ApacheKafkaConnect개념및이해
          • 01.ApacheKafkaConnect
          • 02.SingleMessageTransform(SMT),Converter
        • Ch 05. Confluent Schema Registry 개념 및 이해
          • 01. Confluent Schema Registry
        • Ch 06. Kafka Streams와 ksqlDB 개념 및 이해
          • 01. Kafka Streams, ksqlDB
        • Ch 07. [부록] Confluent Certification 소개 및 팁들
          • 01. Confluent Certifications, Tips
          • 02. Sample Questions
      • Part 2. 실무에서 쉽게 써보는 Kafka: 클러스터 구축부터 MSA 환경에서 활용까지
        • Ch 02. Kafka 설치와 설정
          • 01. Kafka 간단 요약
          • 02. Kafka 빠르게 설치해보기
          • 03. Kafka 클러스터 구축해보기
          • 04. Kafka 설정 꼼꼼히 들여다보기
          • 05. Kakfa 운영해 보기 (AKHQ)
          • 06. Kakfa 운영해 보기 (Kafka Burrow)
        • Ch 03. Kafka Data Pipeline 구축
          • 01. 데이터 파이프라인 구축해보기
          • 02. Confluent Kafka 추가기능
          • 03. Kafka Connect 활용해보기
        • Ch 04. MSA 환경에서의 Kafka 활용
          • 01. MSA & EDA
          • 02. EDM 서비스 구현
            • 실습 코드
      • Part 3. Spring for Apache Kafka
        • Ch 02. Spring for Kafka 기본
          • 01. Quick Start
          • 02.KafkaTopic
          • 03.PublishMessages이론
          • 04.PublishMessages실습
          • 05. Consume Messages 이론
          • 06. Consume Message 실습
        • Ch03.Manage&Stream사용하기
          • 01.토픽관리하기
          • 02.간단한성능모니터링
          • 03.ErrorHandling
          • 04.KafkaStreamwithSpring
      • Part 4. 실시간 모니터링을 위한 Kafka 매트릭 이해
        • Ch01.ApacheKafka모니터링의이해
          • 02. Apache Kafka Monitoring이란?
          • 03. 어떤 정보를 모니터링 해야 할까?
          • 04. Apache Kafka를 모니터링 할 수 있는 도구는?
          • 05. 실습 아키텍처 소개
        • Ch 02. Apache Kafka 모니터링을 위한 Metric 이해
          • 01.ProducerMetric상세
          • 02.KafkaBrokerMetric상세
          • 03.ConsumerMetric상세
          • 04. Zookeeper & Host Metric 상세
        • Ch03.ApacheKafka모니터링시스템구축
          • 01. GCP에서 Kafka 구성하기 (1)
          • 02.GCP에서Kafka구성하기(2)
    • 아파치 카프카 애플리케이션 프로그래밍 with 자바
      • 1. 들어가며
      • 2. 카프카 빠르게 시작해보기
        • 2.1 실습용 카프카 브로커 설치
        • 2.1 실습용 카프카 브로커 설치(ver.EC2)
        • 2.2 카프카 커맨드 라인 툴
      • 3. 카프카 기본 개념 설명
        • 3.1 카프카 브로커, 클러스터, 주키퍼
        • 3.2 토픽과 파티션
        • 3.3 레코드
        • 3.4 카프카 클라이언트
        • 3.5 카프카 스트림즈
        • 3.6 카프카 커넥트
        • 3.7 카프카 미러메이커2
  • Issue
    • Git
      • filePath:Zone.Identifier
      • git 자동 로그인(VS Code)
    • JPA
      • EntityNotFoundException
      • @Scheduled 실행 시, Transaction처리
    • Spring
      • cannot deserialize from object value
    • IDE
      • Error: Could not find or load main class Controller Caused by: java.lang.ClassNotFoundException: Con
  • Book
    • Java
      • 이펙티브 자바 (Effective Java 3/E)
      • 모던 자바 인 액션(Modern Java in Action)
    • Quality
      • 클린 코드(Clean Code)
Powered by GitBook
On this page
  • In-Sync Replicas 리스트 관리
  • ISR은 Leader가 관리
  • Leader Failure
  • Broker Failure
  1. Kafka
  2. Kafka 완전 정복 : 클러스터 구축부터 MSA 환경 활용까지
  3. Part 1. Confluent 엔지니어가 설명해주는 Apache Kafka (기본/심화 개념, 아키텍처와 생태계)
  4. Ch 02. Apache Kafka 심화 개념 및 이해

02.Replica Failure

Previous01.Producer Acks, Batch, Page Cache, FlushNext03.Replica Recovery

Last updated 3 years ago

In-Sync Replicas 리스트 관리

  • Leader가 관리

  • 메시지가 ISR 리스트의 모든 Replica(복제본)에서 수신되면 Commit된 것으로 간주

  • Kafka Cluster의 Controller가 모니터링하는 ZooKeeper의 ISR 리스트에 대한 변경 사항은 Leader가 유지

  • n개의 Replica가 있는 경우 n-1개의 장애를 허용할 수 있음

  • Follower가 실패하는 경우

    • Leader에 의해 ISR 리스트에서 삭제됨

    • Leader는 새로운 ISR을 사용하여 Commit함

  • Leader가 실패하는 경우

    • Controller는 Follower 중에서 새로운 Leader를 선출

    • Controller는 새 Leader와 ISR 정보를 먼저 ZooKeeper에 Push한 다음 로컬 캐싱을 위해 Broker에 Push함

ISR은 Leader가 관리

  • Zookeeper에 ISR 업데이트, Controller가 Zookeeper로부터 수신

  1. Follower가 너무 느리면 Leader는 ISR에서 Follower를 제거하고 ZooKeeper에 ISR을 유지

  2. Controller는 Partition Metadata에 대한 변경 사항에 대해서 Zookeeper로부터 수신

Leader Failure

  • Controller가 새로운 Leader 선출

  • Controller가 새로 선출한 Leader 및 ISR 정보는, Controller 장애로부터 보호하기 위해, ZooKeeper에 기록된 다음 클라이언트 메타데이터 업데이트를 위해 모든 Broker에 전파

Broker Failure

Broker 4 대, Partition 4, Replication Factor가 3 일 경우를 가정

  • Partition 생성시 Broker들 사이에서 Partition들이 분산하여 배치됨

  • Broker 4에 장애가 발생하는 경우

Partition Leader가 없는 경우

  • Partition에 Leader가 없으면, Leader가 선출될 때까지 해당 Partition을 사용할 수 없게 됨

  • Producer의 send() 는 retries 파라미터가 설정되어 있으면 재시도함 만약 retries=0 이면, NetworkException이 발생함