개발 일기92

1. 우분투 시스템 패키지 업데이트sudo apt-get update2. 필요한 패키지 설치sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common 3. Docker의 공식 GPG키를 추가curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 4. Docker의 공식 apt 저장소를 추가sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" 5. 시스템 패키지 업..

__consumer_offsets : 사용자가 따로 생성하지 않아도 데이터를 1개이상 받았던 kafka에는 해당 topic이 생성되는데, 컨슈슈머가 읽어간 offset 정보를 저장하고있음. 컨슈머가 처리한 후 해당 토픽에 commit정보를 남김. 만약 consumer가 죽거나 장애 발생 시 장애 복구 후 해당 정보를 읽어 offset정보 확인.

지난 Kafka 설치에 이어 Kafka 실행 1. kafka의 server.properties파일 listeners 옵션을 로컬로 수정 2. kafka 실행 명령어 : bin/kafka-server-start.sh config/server.properties 실행 후 아래 INFO 로그 확인. 3. kafka 토픽 생성. 댓글 데이터를 받아오는 project를 구현할 예정이라 topic이름은 comment로 지정 토픽 리스트 확인.토픽은 일반적으로 공백을 허용하지 않음._(언더스코어/언더바)나 .(점)은 kafka내부 매트릭 충돌로 인해 권장하지 않음.토픽의 최대 사이즈는 249자 까지 허용

1. Ubuntu 설치환경 : window111-1. cmd 관리자 모드 wsl --install -d Ubuntu-24.041-2. 설치 완료 후 window재부팅. 2.  jdk 설치 2-1. apt 업그레이드 sudo apt-get update && sudo apt-get upgrade2-2. jdk 설치sudo apt-get install openjdk-11-jdk2-3. 설치 및 버전 확인java -version 3. Kafka 설치 3-1. Apache-Kafka 다운로드 페이지 접속. https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 3-2. s..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

Replication Factor에 대해 공부하던 중 broker보다 많은 숫자로 Replication Factor 옵션을 설정하면 어떻게 될까? ex) broker 3대, 옵션 4결과 : Error: replication factor: 4 larger than available brokers: 3 당연히 안될거라 생각했지만 위와 같은 에러메세지가 나오게 된다.

보호되어 있는 글입니다.