Kafka 23

Kafka - 최종 정리 ( 추가 중 )

Broker최소 3대, 권장 4대 이상의 Broker로 Kafka Cluster 구성Topic 내의 Partition을 분산, 유지, 관리Broker 장애 시? - Broker는 partition을 미리 다른 Broker에 Replication(복제)하여 대비한다. Leader/Follower구조Replication Factor 3 ? - Leader 1, Follower 2 (복제2), Follower는 leader에 Fetch Request를 요청하며 commit Log 데이터 요Producer와 Consumer는 Broker Leader하고 통신한다. Leader 장애 시 Kafka Cluster에서 follower중 Leader선출Leader선출 하는 방법? - ISR, In Sync Replic..

Kafka 2024.06.28

Kafka 실행

지난 Kafka 설치에 이어 Kafka 실행 1. kafka의 server.properties파일 listeners 옵션을 로컬로 수정 2. kafka 실행 명령어 : bin/kafka-server-start.sh config/server.properties 실행 후 아래 INFO 로그 확인. 3. kafka 토픽 생성. 댓글 데이터를 받아오는 project를 구현할 예정이라 topic이름은 comment로 지정 토픽 리스트 확인.토픽은 일반적으로 공백을 허용하지 않음._(언더스코어/언더바)나 .(점)은 kafka내부 매트릭 충돌로 인해 권장하지 않음.토픽의 최대 사이즈는 249자 까지 허용

Kafka 2024.06.07

Kafka 설치

1. Ubuntu 설치환경 : window111-1. cmd 관리자 모드 wsl --install -d Ubuntu-24.041-2. 설치 완료 후 window재부팅. 2.  jdk 설치 2-1. apt 업그레이드 sudo apt-get update && sudo apt-get upgrade2-2. jdk 설치sudo apt-get install openjdk-11-jdk2-3. 설치 및 버전 확인java -version 3. Kafka 설치 3-1. Apache-Kafka 다운로드 페이지 접속. https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 3-2. s..

Kafka 2024.06.07