개발 일기92

고정 헤더 영역

글 제목

메뉴 레이어

개발 일기92

메뉴 리스트

  • 홈
  • 태그
  • 방명록
  • 분류 전체보기 (134)
    • Redis (14)
    • 공지 (1)
    • Kafka (23)
    • 정보처리기사 (0)
    • Linux (8)
    • BI (3)
    • Kubernetes (2)
    • EMR (1)
    • Kinesis (2)
    • AWS S3 (2)
    • ETC (9)
    • Doker (6)
    • Airflow (4)
    • Hadoop (9)
    • ELK (2)
    • Spark (6)
    • DB (10)
      • Postgresql (9)
    • NIFI (2)
    • CS (4)
      • 운영체제 (9)
      • 네트워크 (4)
      • 데이터베이스 (2)
      • 자료구조 (2)
    • 코테 (0)

검색 레이어

개발 일기92

검색 영역

컨텐츠 검색

Kafka

  • Kafka - 최종 정리 ( 추가 중 )

    2024.06.28 by 개발 일기92

  • Kafka - __consumer_offsets TOPIC

    2024.06.07 by 개발 일기92

  • Kafka 실행

    2024.06.07 by 개발 일기92

  • Kafka 설치

    2024.06.07 by 개발 일기92

  • Kafka - Apache Kafka and Confluent Reference Architecture

    2024.06.05 by 개발 일기92

  • Kafka - Exactly Once Semantics(EOS) 2

    2024.06.04 by 개발 일기92

  • Kafka - Exactly Once Semantics(EOS)

    2024.06.03 by 개발 일기92

  • Kafka - Kafka Log File

    2024.06.02 by 개발 일기92

Kafka - 최종 정리 ( 추가 중 )

Broker최소 3대, 권장 4대 이상의 Broker로 Kafka Cluster 구성Topic 내의 Partition을 분산, 유지, 관리Broker 장애 시? - Broker는 partition을 미리 다른 Broker에 Replication(복제)하여 대비한다. Leader/Follower구조Replication Factor 3 ? - Leader 1, Follower 2 (복제2), Follower는 leader에 Fetch Request를 요청하며 commit Log 데이터 요Producer와 Consumer는 Broker Leader하고 통신한다. Leader 장애 시 Kafka Cluster에서 follower중 Leader선출Leader선출 하는 방법? - ISR, In Sync Replic..

Kafka 2024. 6. 28. 12:43

Kafka - __consumer_offsets TOPIC

__consumer_offsets : 사용자가 따로 생성하지 않아도 데이터를 1개이상 받았던 kafka에는 해당 topic이 생성되는데, 컨슈슈머가 읽어간 offset 정보를 저장하고있음. 컨슈머가 처리한 후 해당 토픽에 commit정보를 남김. 만약 consumer가 죽거나 장애 발생 시 장애 복구 후 해당 정보를 읽어 offset정보 확인.

Kafka 2024. 6. 7. 16:39

Kafka 실행

지난 Kafka 설치에 이어 Kafka 실행 1. kafka의 server.properties파일 listeners 옵션을 로컬로 수정 2. kafka 실행 명령어 : bin/kafka-server-start.sh config/server.properties 실행 후 아래 INFO 로그 확인. 3. kafka 토픽 생성. 댓글 데이터를 받아오는 project를 구현할 예정이라 topic이름은 comment로 지정 토픽 리스트 확인.토픽은 일반적으로 공백을 허용하지 않음._(언더스코어/언더바)나 .(점)은 kafka내부 매트릭 충돌로 인해 권장하지 않음.토픽의 최대 사이즈는 249자 까지 허용

Kafka 2024. 6. 7. 16:35

Kafka 설치

1. Ubuntu 설치환경 : window111-1. cmd 관리자 모드 wsl --install -d Ubuntu-24.041-2. 설치 완료 후 window재부팅. 2.  jdk 설치 2-1. apt 업그레이드 sudo apt-get update && sudo apt-get upgrade2-2. jdk 설치sudo apt-get install openjdk-11-jdk2-3. 설치 및 버전 확인java -version 3. Kafka 설치 3-1. Apache-Kafka 다운로드 페이지 접속. https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 3-2. s..

Kafka 2024. 6. 7. 15:53

Kafka - Apache Kafka and Confluent Reference Architecture

보호되어 있는 글입니다.

보호글 2024. 6. 5. 16:46

Kafka - Exactly Once Semantics(EOS) 2

보호되어 있는 글입니다.

보호글 2024. 6. 4. 16:30

Kafka - Exactly Once Semantics(EOS)

보호되어 있는 글입니다.

보호글 2024. 6. 3. 09:56

Kafka - Kafka Log File

보호되어 있는 글입니다.

보호글 2024. 6. 2. 18:58

추가 정보

인기글

최신글

페이징

이전
1 2 3
다음
TISTORY
개발 일기92 © Magazine Lab
페이스북 트위터 인스타그램 유투브 메일

티스토리툴바