개발 일기92

2022년에 진행했던 프로젝트에서 kafka를 썼었는데 담당이 아니라 자주 접해보지 못한게 너무 아쉽다.. Kinesis vs Kafka Concepts Kafka Kinesis 스토리지 파티션 샤드 보관 기간 설정 가능 1일 ~ 7일 (기본값 1일) 데이터 크기 설정 가능(기본값 1 MB) 최대 1MB 파티션 / 샤드 생성 제한 제한 없음 200개 가능(ap-northeast 기준) 복제 클러스터 안에서 복제 3개 지역에 자동 복제 메세지 전달 횟수 Kafka: 적어도 한 번 전송, Kafka Stremas: 정확히 1회 전송 적어도 1회 전송 의존성 Zookepper DynamoDB 관리 많은 관리 필요 AWS에서 자동 관리 출처: https://data-engineer-tech.tistory.com..

Kenesis란? 실시간 데이터 스트림을 수집, 처리, 분석해주는 서비스. 샤드의 수를 조절하여 스트림 받을 정도 수정 가능. Data Firehose 데이터 스트림 처리 및 전송 Data Analytics 스트리밍 데이터 분석 실시간 분석 생성 – 지표를 계산하고, Kinesis를 통해 Amazon S3 또는 Amazon Redshift로 전송할 수 있다. 실시간 대시보드 제공 – 집계 및 처리된 스트리밍 데이터 결과를 전송하여 실시간 대시보드를 구성할 수 있다. 실시간 지표 생성 – 실시간 모니터링, 알림, 경보에 사용할 사용자 지정 지표와 트리거를 생성할 수 있다. Video Streams 재생 및 분석을 위해 미디어 스트림을 캡처, 저장 및 처리 Data Analytics 스트리밍 데이터 분석 실..