Machine-geon TIL
  • 😎Today I Learned
  • JPA
    • 섹션 1. JPA 소개
      • 소개(about JPA)
    • 섹션 3. 영속성 관리 - 내부 동작 방식
      • 영속성 컨텍스트(Persistence Context)
      • 플러시 (Flush)
      • 준영속 상태 (Detached)
    • 섹션 4. 엔티티 매핑
      • 객체와 테이블 매핑 (mapping)
      • 데이터베이스 스키마 자동 생성 (DB Schema auto create)
      • 필드와 컬럼 매핑 (feild, column mapping)
      • 기본키 매핑 (Primary key Mapping
    • 섹션 5. 연관관계 매핑 기초
      • 단방향 연관관계 (one-way association)
      • 양방향 연관관계와 연관관계의 주인 (Bidirectional associations and masters of associations)
    • 섹션 6. 다양한 연관관계 매핑
      • 다양한 연관관계 매핑(relationship mapping)
    • 섹션 7. 고급 매핑
      • 고급 매핑(advanced mapping)
    • 섹션 8. 프록시와 연관관계 관리
      • 프록시
      • 즉시 로딩과 지연 로딩
  • GrpahQL
    • GraphQL 기초
      • with Java
  • Docker
    • 도커 기본(Docker Basic)
    • 기본적인 도커 클라이언트 명령어(Docker command)
    • 도커 이미지 만들기(Make image)
    • 도커를 이용한 Node.js 어플(Docker with Node.js App)
    • Docker Compose
    • test & deploy
  • Project
    • SSAFY
      • Demacia
      • 당근?빠따!
      • BorA
    • 인공지능 과정
      • 오! 톡해~
      • 2019 창원시 빅데이터 공모전
      • ANU_IPSI
      • Beta Gogh
  • IT Knowledge
    • HTTP 웹 기본 지식
    • IT 관련 용어
    • Security
    • A/B Test
    • 이슈
  • Spring
    • Annotation
    • API
      • File.separator
  • JavaScript 기초 문법
  • 프로젝트 관리
    • 소나큐브(SonarQube)
    • 스웨거(Swagger) 3.0.0 with yaml
    • 더 자바, 애플리케이션을 테스트하는 다양한 방법
      • JUnit5
        • JUnit 5란?
    • VScode로 SSH를 통해 원격서버 접속
    • Jira 설치
  • Java
    • API
      • Optional
      • 함수형 인터페이스
    • 연동
      • JIRA (with Java)
  • Kafka
    • Kafka 완전 정복 : 클러스터 구축부터 MSA 환경 활용까지
      • Part 1. Confluent 엔지니어가 설명해주는 Apache Kafka (기본/심화 개념, 아키텍처와 생태계)
        • Ch 01. Apache Kafka 기본 개념 및 이해
          • 01. Apache Kafka
          • 02. Topic, Partition, Segment
          • 03. Broker, Zookeeper
          • 04. Producer
          • 05. Consumer
          • 06. Replication
          • 07. In-Sync Replicas
        • Ch 02. Apache Kafka 심화 개념 및 이해
          • 01.Producer Acks, Batch, Page Cache, Flush
          • 02.Replica Failure
          • 03.Replica Recovery
          • 04.Consumer Rebalance
          • 05.Partition Assignment Strategy
          • 06.CooperativeStickyAssignor
          • 07.KafkaLogFile
          • 08.ExactlyOnceSemantics(EOS)
          • 09.ExactlyOnceSemantics(EOS)2
        • Ch 03. Apache Kafka 구성 및 관리
          • 01.ApacheKafkaandConfluentReferenceArchitecture
          • 02.KafkainRealEnvironment
          • 03.Installation,ClusterConfiguration
          • 04.LogRetention,CleanupPolicy
          • 05.KafkaClusterUpgrade,Expansion,Shrink
        • Ch04.ApacheKafkaConnect개념및이해
          • 01.ApacheKafkaConnect
          • 02.SingleMessageTransform(SMT),Converter
        • Ch 05. Confluent Schema Registry 개념 및 이해
          • 01. Confluent Schema Registry
        • Ch 06. Kafka Streams와 ksqlDB 개념 및 이해
          • 01. Kafka Streams, ksqlDB
        • Ch 07. [부록] Confluent Certification 소개 및 팁들
          • 01. Confluent Certifications, Tips
          • 02. Sample Questions
      • Part 2. 실무에서 쉽게 써보는 Kafka: 클러스터 구축부터 MSA 환경에서 활용까지
        • Ch 02. Kafka 설치와 설정
          • 01. Kafka 간단 요약
          • 02. Kafka 빠르게 설치해보기
          • 03. Kafka 클러스터 구축해보기
          • 04. Kafka 설정 꼼꼼히 들여다보기
          • 05. Kakfa 운영해 보기 (AKHQ)
          • 06. Kakfa 운영해 보기 (Kafka Burrow)
        • Ch 03. Kafka Data Pipeline 구축
          • 01. 데이터 파이프라인 구축해보기
          • 02. Confluent Kafka 추가기능
          • 03. Kafka Connect 활용해보기
        • Ch 04. MSA 환경에서의 Kafka 활용
          • 01. MSA & EDA
          • 02. EDM 서비스 구현
            • 실습 코드
      • Part 3. Spring for Apache Kafka
        • Ch 02. Spring for Kafka 기본
          • 01. Quick Start
          • 02.KafkaTopic
          • 03.PublishMessages이론
          • 04.PublishMessages실습
          • 05. Consume Messages 이론
          • 06. Consume Message 실습
        • Ch03.Manage&Stream사용하기
          • 01.토픽관리하기
          • 02.간단한성능모니터링
          • 03.ErrorHandling
          • 04.KafkaStreamwithSpring
      • Part 4. 실시간 모니터링을 위한 Kafka 매트릭 이해
        • Ch01.ApacheKafka모니터링의이해
          • 02. Apache Kafka Monitoring이란?
          • 03. 어떤 정보를 모니터링 해야 할까?
          • 04. Apache Kafka를 모니터링 할 수 있는 도구는?
          • 05. 실습 아키텍처 소개
        • Ch 02. Apache Kafka 모니터링을 위한 Metric 이해
          • 01.ProducerMetric상세
          • 02.KafkaBrokerMetric상세
          • 03.ConsumerMetric상세
          • 04. Zookeeper & Host Metric 상세
        • Ch03.ApacheKafka모니터링시스템구축
          • 01. GCP에서 Kafka 구성하기 (1)
          • 02.GCP에서Kafka구성하기(2)
    • 아파치 카프카 애플리케이션 프로그래밍 with 자바
      • 1. 들어가며
      • 2. 카프카 빠르게 시작해보기
        • 2.1 실습용 카프카 브로커 설치
        • 2.1 실습용 카프카 브로커 설치(ver.EC2)
        • 2.2 카프카 커맨드 라인 툴
      • 3. 카프카 기본 개념 설명
        • 3.1 카프카 브로커, 클러스터, 주키퍼
        • 3.2 토픽과 파티션
        • 3.3 레코드
        • 3.4 카프카 클라이언트
        • 3.5 카프카 스트림즈
        • 3.6 카프카 커넥트
        • 3.7 카프카 미러메이커2
  • Issue
    • Git
      • filePath:Zone.Identifier
      • git 자동 로그인(VS Code)
    • JPA
      • EntityNotFoundException
      • @Scheduled 실행 시, Transaction처리
    • Spring
      • cannot deserialize from object value
    • IDE
      • Error: Could not find or load main class Controller Caused by: java.lang.ClassNotFoundException: Con
  • Book
    • Java
      • 이펙티브 자바 (Effective Java 3/E)
      • 모던 자바 인 액션(Modern Java in Action)
    • Quality
      • 클린 코드(Clean Code)
Powered by GitBook
On this page
  1. Kafka
  2. Kafka 완전 정복 : 클러스터 구축부터 MSA 환경 활용까지
  3. Part 2. 실무에서 쉽게 써보는 Kafka: 클러스터 구축부터 MSA 환경에서 활용까지

Ch 03. Kafka Data Pipeline 구축

Previous06. Kakfa 운영해 보기 (Kafka Burrow)Next01. 데이터 파이프라인 구축해보기

Last updated 2 years ago

01. 데이터 파이프라인 구축해보기
02. Confluent Kafka 추가기능
03. Kafka Connect 활용해보기