Kafka

Kafka ?

• 데이터 인모션 플랫폼
• 움직이는 데이터를 처리하는 플랫폼
• 이벤트 스트리밍 플랫폼
• Write에 최적화된 시스템

 

이벤트?

비지니스에서 일어나는 모든 데이터(BigData)

• Spark, Flink, Storm, Hadoop등과 연동하여 사용

ex)

• 웹사이트에서의 클릭
• 은행 송금
• 택시의 GPS좌표
• Realtime Event Stream Processig Fraud Detection,이상 감지 등
• DB동기화 (MSA 기반의 분리된 DB간 동기화)
• 실시간 ETL

 

kafka 특징

이벤트 스트림을 안전하게 전송 publish & Subscribe

이벤트 스트림을 디스크에 저장 Write to Disk

이벤트 스트림을 분석 및 처리 Processing & Ananlysis

 

저렴한 장비6대로 초당 2백만 Writes가 가능하다.

kafka 창시자 블로그

 

Kafka vs RabbitMQ 벤치마킹