1) ELK란?

1. ELK Stack이란? 

ELK는 세기술의 약자로 

Elasticsearch 와 Logstash, Kibana의 앞글자들로 ELK라는 동물이 있어서 단어의 순서를 ELK 로 축약한 것 같다. 

 

출처 https://www.elastic.co/kr/what-is/elk-stack

 

홈페이지의 설명을 따르면 ELK Stack 이란 Elasticsearch, Logstash 및 kibana 이 오픈소스 프로젝트 세개의 머리글자이다. 

Elasticsearch 는 검색 및 분석 엔진이다. (로그 저장 및 검색) 

Logstash 는 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch와 같은 "stash"로 전송하는 서버 사이드 데이터 처리 파이프라인이다.  (로그 수집 엔진) 

Kibana는 사용자가 Elasticsearch 에서 차트와 그래프를 이용해 데이터를 시각화할 수 있게 해준다. (로그 시각화 및 관리)

 

출처 https://www.elastic.co/kr/what-is/elk-stack

 

1) Data Processing (Logstash) "Collect & Transform" 

먼저 서버 내의 로그, 웹, 메트릭 등 다양한 소스에서 데이터를 수집한다. 

데이터 변환 및 구조 구축 

데이터 출력 및 송신 

-> 첫번째 사진을 보면 가장 밑에가 Logstash인데 데이터(로그)를 수집하고 변환하는 작업을 먼저 해야한다. 

 

 

2) Storage (Elasticsearch) "Search & Analyze" 

그리고 데이터를 저장 및 분석, 관리한다. 

 

3) Visualize (Kibana) "Visualize & Manage"

Dashborad를 통한 데이터 탐색

팀원들과 공유 및 협업하는데 사용 가능

액세스 제어 사용 가능 

-> 검색하고 수집하여 분석, 저장, 관리한 데이터를 기반으로 시각화를 한다. 

 

 

출처 https://www.elastic.co/kr/what-is/elk-stack

Elasticsearch는 json 기반의 분산형 오픈 소스 RESTful 검색 엔진이라고한다. 

 

출처 https://www.elastic.co/kr/what-is/elk-stack

로그를 손쉽게 수집하기 위해 강력한 수집 파이프라인인 Logstash을 도입했고, 

이를 시각화 하기 위해 유연한 시각화 도구인 Kibana를 도입했다고 한다. 

 

출처 https://www.elastic.co/kr/what-is/elk-stack

Logstash는 데이터 수집의 역할을 맡고 있는데 원하는 형태로 데이터 입출력 변환까지 맡고 있어서 오버헤드가 컸다고한다. 

따라서 많은 사용자들이 "파일을 추적하고 싶다"는 등 요구사항을 제시했고, Elastic 회사는 오로지 데이터의 수집만을 담당하는 경량화된 모듈인 Beats를 도입했다. 

 

 

전체적인 실행 동작은 이렇게 진행된다.