OpenSearch

• OpenSearch란?

오픈 소스 검색 및 분석 제품으로 확장성이 높고 실시간 AP모니터링, 로그 분석 및 웹 사이트 검색 등의 다양한 기능 제공.

k-nearest neighbors(KNN) 검색, SQL, Anomaly Detection, Machine Learning Commons, Trace Analytics, 전체 텍스트 검색 등 다수의 검색 및 분석 기능을 지원

Elastic Search, kibana 7.1 에서 fork 되어 등장.

기존 ES를 대체해서 나왔기 때문에 다양한 스택과 조합 가능.

• 검색 속도는 index data를 여러 노드에 분산 저장하여 매핑하고 샤드를 클러스터 전체에 분산저장하여 검색속도↑

https://aws.amazon.com/ko/blogs/tech/opensearch-sizing/

 

https://aws.amazon.com/ko/blogs/tech/opensearch-sizing/

인덱스는 여러개의 샤드로 분할되어 데이터를 저장하고 관리한다.

각 데이터 노드별 Primary Shard(1개), Replica Shard(2개 이상의 복제본)를 가진다.

데이터 노드는 기존 타 AP(nifi, kafka 등)과 같이 홀수로 구성하는 것이 좋다.

 

대부분의 경우 샤드의 크기는 50GB 이하로 구성하는 것이 좋다.

하지만, 페타바이트 이상의 데이터를 다루는 경우에는 100GB 로 구성하는 것이 추천됩니다. 인덱스 패턴에 따라 Long-term retention 인덱스 는 10GB ~ 30GB 를 추천하며, Rolling 인덱스의 경우 10GB ~ 50GB 를 추천