elasticSearch.md

Elassticsearch

Elasticsearch란?

Apache lucene 기반의 java 오픈소스 분산 검색 엔진입니다. "데이터 저장소"가 아니기 때문에 데이터베이스를 대체할 수 없습니다. 많은 양의 데이터를 빠르고 거의 실시간으로 저장, 검색, 분석할 수 있습니다.

Elasticsearch 특징

장점

• 빠름
  • 거의 실시간 검색 플랫폼이다.
  • Lucene기반으로 구축되어 풀텍스트 검색에 뛰어나다
• 본질상 분산적
  • elasticsearch에 저장된 문서는 샤드라고 하는 여러 다른 컨테이너에 분산적으로 저장
  • 샤드는 복제되어 장애 대응 가능(replication)
• 광범위한 기능 세트와 함께 사용
  • 데이터 롤업, 인덱스 수명 주기 관리 등과 같이 데이터를 더 효율적으로 저장하고 검색할 수 있게 하는 여러 기능 탑재
• 데이터 수집, 시각화, 보고를 간소화 함
  • 데이터를 더 쉽제 처리
  • kibana => 실시간 시각화, beats+logstash => 색인 전 데이터 쉽게 처리 가능
• Rest API 지원
• 분산 문서 저장소로서 json 형태로 직렬화된 복잡한 데이터 구조를 저장한다.

단점

• 실시간 처리가 불가능
• 트랜잭션 지원하지 않음
• 진정한 의미의 업데이트를 지원하지 않는다.
• document간의 join을 수행할 수 없다.

활용 예시

• 고객이 판매 제품을 검색할 수 있는 온라인 웹 스토어를 운영. elasticsearch를 사용하여 전체 제품 카탈로그 및 재고 정보를 저장하고 그에 대한 검색 및 자동 완성 제안 기능을 제공할 수 있다.
• 로그 또는 트랜잭션 데이터를 수집하고 분석하여 추이, 통계, 요약 정볼르 얻거나 이상 요인을 알아낸다.
• 분석/비즈니스 인텔리전스 기능이 필요하여 방대한 데이터를 대상으로 신속하게 조사, 분석, 시각화, 임시 질의를 수행하고 싶다. 이 경우에는 elasticserach를 사용하여 데이터 저장후 kibana를 사용하여 데이터 중 중요한 요소를 시각화할 맞춤형 대시보드를 만들 수 있다.

ELK(Elasticsearch Logstash Kibana) stack

Elastic Search

• 서버로 부터 원하는 모든 유형의 데이터를 가져와서 실시간으로 해당 데이터를 검색, 분석 및 시각화 할 수 있도록 도와주는 Elastic의 오픈 소스 서비스 제품이다.

Logstash

• 다양한 소스(csv, db..)의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 elastic search로 전달한다.

Kibana

• 빠른 검색을 통해 데이터 시각화 및 모니터링

Elasticsearch 노드의 종류

Cluster

• elasticsearch 내 가장 큰 시스템 단위
• 최소 하나 이상의 노드로 이루어진 노드의 집합
• 서로 다른 클러스터는 데이터의 접근 교환을 할 수 없음, 독립적인 시스템으로 유지
• 여러대의 서버가 하나의 클러스터를 구성할 수 있고 한 서버에 여러 개의 클러스터가 존재할 수 있다.

Node

• 클러스터에 포함된 단일 서버로서 데이터를 저장하고 클러스터의 색인화 및 검색 기능에 참여
• mater-eligible
  • 클러스터를 제어하는 마스터로 선택할 수 있는 노드이다.
  • 인덱스 생성, 삭제
  • 클러스터 노드의 추적, 관리
  • 데이터 입력 시 할당할 샤드 선택
• data
  • document가 저장되는 노드이며 데이터가 분산 저장되는 물리적 공간인 샤드가 배치되는 노드이다. CRUD 색인, 검색, 통계 등의 데이터 작업을 수행하므로 많은 리소스가 필요
• ingest
  • 데이터를 변환하는 등 사전 처리 파이프라인을 실행하는 역할을 한다
• coordination only node
  • 사용자의 요청을 받고 라운드 로빈 방식으로 분산을 하는 노드.

Elasticsearch node에 얼마나 많은 샤드가 필요할까?

샤드

• document들은 Index에 저장되며 각 index는 한개 혹은 여러개의 shard로 구성된다. 각 샤드는 lucene index이며 이는 elasticsearch 클러스터 내에 인덱싱을 하거나 데이터 일부를 조회하기 위한 독립적인 검색 엔진이라고 생각할 수 있다.
• document를 입력할 때 index에 입력하지만 index는 샤드로 구성되어있고 데이터를 샤드에 입력할 때, elasticsearch는 주기적으로 디스크에 lucene 세그먼트 형태로 저장하며 이 작업 이후 해당 document 검색이 가능하다. 그리고 세그먼트 개수가 많아지면 주기적으로 더 큰 세그먼트 병합이되고 이 과정을 merging 작업이라고 부르며 디스크 io에 큰 영향을 받는다.

Replica

• 각 인덱스에는 shard가 존재하며 각 node마다 primary shard가 있고 이를 복제한 replica가 있다. primary shard를 갖고 있지 않은 다른 서버는 데이터를 동기화하고 장애 발생 시 대처하기 위해 primary shard를 복제한 replica를 갖고 있다.
• 장애 발생 시 replica가 primary shard로 승격