Elasticsearch Cluster, node 란?

 

1. elasticsearch란? 

즉, Elasticsearch는 검색 및 분석 엔진이다. 

 

2. Cluster 란?

클러스터는 하나 이상의 노드(서버)가 모인 것으로, 이를 통해 전체 데이터를 저장하고, 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공한다. 

 

 

3. Node 란?

노드는 클러스터에 포함된 단일 서버로, 데이터를 저장하고 클러스터의 색인화 및 검색 기능에 참여한다. 

원한다면 기본 이름 대신 어떤 노드 이름도 정의할 수 있다. -> 이는 관리 목적으로 중요하다. 

네트워크의 어떤 서버가 Elasticsearch 클러스터의 어떤 노드에 해당하는지 식별해야하기 때문이다. 

 

4. index 란?

인덱스는 다소 비슷한 특성을 가진 문서의 모음이다. 

ex) 고객 데이터에 대한 색인, 제품 카탈로그에 대한 색인, 주문 데이터에 대한 색인 등을 둘 수 있다. 

(색인 이름은 소문자이어야 한다.)

색인 이름에 포함된 문서에 대한 색인화, 검색, 업데이트, 삭제 작업에서 해당 색인을 가리키는데 사용한다. 

 

5. Dcoument 란?

document는 indx할 수 있는 기본 정보 단위이다. 

json 형식으로 단일 고객, 단일 제품, 단일 주문에 대한 document가 각각 존재. 

 

6. shard 란?

색인은 방대한 양의 데이터를 저장할 수 있지만, 데이터가 단일 노드의 하드웨어 한도를 초과할 수도 있으며, 단일노드의 디스크에서 수용하지 못할 수도 잇으며, 단일 노드에서 검색 요청 처리 시 속도가 느려질 수도 있다. 

따라서 Elasticsearch는 이 문제를 해결하고자 색인을 이른바 샤드(shard) 라는 조각으로 분할하는 기능을 제공한다. 

각각의 샤드는 그 자체가 온전한 기능을 가진 독립적인 "색인"으로 클러스터의 어떤 노드에서도 호스팅할 수 있다. 

 

- 콘텐츠의 크기를 수평 분할 / 확장이 가능해진다. 

- 작업을 여러 샤드에 분산 배치하고 병렬화함으로써 성능/ 처리량을 늘릴 수 있다. 

 

샤드가 분산 배치되는 방식이나 그 문서가 다시 검색 요청으로 집계되는 방식의 메커니즘 모두 elasticsearch에서 관리하고, 사용자에게는 투명하게 이루어진다고 한다. 

 

7. Replica shard(라플리카) 란? 

네트워크/ 클라우드 환경에서는 어떤 이유에서든 샤드/ 노드가 오프라인 상태가 되거나 사라지게 될 경우에 대비해서 페일 오버 메커니즘을 마련하는 것이 매우 유익하고, 바람직하다. 

따라서 Elasticsearch에서는 index 의 shard에 대해 하나 이상의 복사본을 생성할 수 있는데, 이를 라플리카 샤드, 줄여서 라플리카라고 한다. 

 

라플리카를 중요한 이유 

- 샤드/노드 오류가 발생하더라도 고가용성을 제공한다. 따라서 라플리카 샤드는 그  원본인 기본 샤드와 동일한 노드에 배정하지 않는다. 

- 모든 라플리카에서 병렬 방식으로 검색을 실행할 수 있으므로 검색 볼륨/ 처리량을 확장할 수 있다. 

 

 

8. 총정리 

1개의 클러스터는 1개 이상의 노드로 이루어져 있으며, 노드는 단일 서버를 의미한다. 

클러스터는 모든 노드를 통합해서 색인화 및 검색 기능을 할 수 있다. 

그리고 노드에는 인덱스를 여러개 구성할 수 있다. 그 인덱스는 문서들로 구성되어 있고 (예를 들자면 db의 table안에 행이라고 할 수 있다.)

그리고 이 인덱스 안에는 여러개의 샤드로 분할 할 수 있다. 샤드를 복제하면 라플리카 샤드가 있고, 이 둘은 서로 다른 노드에 존재해야 한다. 

 

index가 생성된 이후에 언제라도 라플리카의 수는 변경할 수 있지만, 샤드의 수는 사후에 변경 불가능하다. 

기본적으로 elasitcsearch의 index는 기본 샤드 5개, 라플리카 1개를 가지고 있다.