개발 일기92

Broker최소 3대, 권장 4대 이상의 Broker로 Kafka Cluster 구성Topic 내의 Partition을 분산, 유지, 관리Broker 장애 시? - Broker는 partition을 미리 다른 Broker에 Replication(복제)하여 대비한다. Leader/Follower구조Replication Factor 3 ? - Leader 1, Follower 2 (복제2), Follower는 leader에 Fetch Request를 요청하며 commit Log 데이터 요Producer와 Consumer는 Broker Leader하고 통신한다. Leader 장애 시 Kafka Cluster에서 follower중 Leader선출Leader선출 하는 방법? - ISR, In Sync Replic..

Kafka 2024. 6. 28. 12:43

__consumer_offsets : 사용자가 따로 생성하지 않아도 데이터를 1개이상 받았던 kafka에는 해당 topic이 생성되는데, 컨슈슈머가 읽어간 offset 정보를 저장하고있음. 컨슈머가 처리한 후 해당 토픽에 commit정보를 남김. 만약 consumer가 죽거나 장애 발생 시 장애 복구 후 해당 정보를 읽어 offset정보 확인.

Kafka 2024. 6. 7. 16:39

지난 Kafka 설치에 이어 Kafka 실행 1. kafka의 server.properties파일 listeners 옵션을 로컬로 수정 2. kafka 실행 명령어 : bin/kafka-server-start.sh config/server.properties 실행 후 아래 INFO 로그 확인. 3. kafka 토픽 생성. 댓글 데이터를 받아오는 project를 구현할 예정이라 topic이름은 comment로 지정 토픽 리스트 확인.토픽은 일반적으로 공백을 허용하지 않음._(언더스코어/언더바)나 .(점)은 kafka내부 매트릭 충돌로 인해 권장하지 않음.토픽의 최대 사이즈는 249자 까지 허용

Kafka 2024. 6. 7. 16:35

1. Ubuntu 설치환경 : window111-1. cmd 관리자 모드 wsl --install -d Ubuntu-24.041-2. 설치 완료 후 window재부팅. 2.  jdk 설치 2-1. apt 업그레이드 sudo apt-get update && sudo apt-get upgrade2-2. jdk 설치sudo apt-get install openjdk-11-jdk2-3. 설치 및 버전 확인java -version 3. Kafka 설치 3-1. Apache-Kafka 다운로드 페이지 접속. https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 3-2. s..

Kafka 2024. 6. 7. 15:53