저번 오류였던 kibana에서 Error in visualization [lens_merge_tables] > [esaggs] > Cannot read property ‘aggConfig’ of undefined 이거에 이어서 Request error: circuit_breaking_exception, [parent] Data too large, data for [] would be [517802104/493.8mb], which is larger than the limit of [510027366/486.3mb], real usage: [517801832/493.8mb], new bytes reserved: [272/272b], usages [request=22024/21.5kb, fielddata=1..

1.2억개 데이터를 넣고, kibana에서 인덱스 패턴 생성 후 대쉬보드를 만드는데 Error in visualization [lens_merge_tables] > [esaggs] > Cannot read property ‘aggConfig’ of undefined 이런 에러가 떴다..! 겨우 데이터 수집하고, 가공해서 대쉬보드 만드는데 갑자기 안돼서 오류 원인을 찾아보기 위해 구글링해본 결과 영어라 사실 귀찮아서 다 읽어보지는 않았는데 대충 데이터의 크기가 너무 커서 인거같다. 왜냐하면 잘 되다가 이제 차트에 여러 필드를 조합해서 해서 하려니까 안됐기 때문이다. 그러면서 갑자기 elasticsearchd와 kibana 모두 동작이 제대로 되지 않았다. 생각에는 elasticsearch의 힙 사이즈를 늘..

1. elasticsearch란? 즉, Elasticsearch는 검색 및 분석 엔진이다. 2. Cluster 란? 클러스터는 하나 이상의 노드(서버)가 모인 것으로, 이를 통해 전체 데이터를 저장하고, 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공한다. 3. Node 란? 노드는 클러스터에 포함된 단일 서버로, 데이터를 저장하고 클러스터의 색인화 및 검색 기능에 참여한다. 원한다면 기본 이름 대신 어떤 노드 이름도 정의할 수 있다. -> 이는 관리 목적으로 중요하다. 네트워크의 어떤 서버가 Elasticsearch 클러스터의 어떤 노드에 해당하는지 식별해야하기 때문이다. 4. index 란? 인덱스는 다소 비슷한 특성을 가진 문서의 모음이다. ex) 고객 데이터에 대한 색인, 제품 카탈로그에 ..

Elasticsearch 7.x 버전부터는 security 설정이 필수인것 같다,, 계속 무시하고 그냥 하다가 kibana 로 시각화하는것좀 보려고 하는데 경고 알림이 너어어무 많이 와서 결국 security 설정하기로 ㅎㅎ.. 1. elasticsearch.yml 파일 수정하기 xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 이거 추가하고 저장한다. 2. 그리고 elasticsearch 다시 실행하기 3. bin/elasticsearch-setup-passwords interactive 명령 실행 뭐라고 뭐라고 질문할건데 그냥 y 하면 된다. 이렇게 뜰건데 그럼 원하는 비밀번호 입력하면 된다. 4. kibana 수정하기 이..

이제 elk의 elasticsearch와 logstash, kibana는 모두 설치가 완료 됐고.. 마지막으로 elk stack의 beats를 설치하면 끝.?이다! Beats에는 종류가 여러가지가 있는데 https://www.elastic.co/kr/downloads/beats/ Download Beats: Data Shippers for Elasticsearch Easily ingest data into Elasticsearch using Beats, lightweight data shippers for the Elastic Stack to handle log files, CPU metrics, network data, and more. www.elastic.co 그중 나는 log 데이터를 수집할 예정..

1. logstash 설치 링크 복사하기 https://www.elastic.co/kr/downloads/logstash Download Logstash Free | Get Started Now | Elastic Download Logstash or the complete Elastic Stack (formerly ELK stack) for free and start collecting, searching, and analyzing your data with Elastic in minutes. www.elastic.co linux로 링크주소 복사하기 2. logstash 설치하기 tar 압축 풀기 그리고 files라는 폴더로 tar 파일을 모두 옮겨줬다! 3. logstash 실행하기 stand inpu..

1. kibana 설치하기 https://www.elastic.co/kr/downloads/kibana Download Kibana Free | Get Started Now | Elastic Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, and exploring your data with Elastic in minutes. www.elastic.co 여기에서 LINUX 64-BIT로 링크 주소복사 후 wget 링크 하고 tar 압축 풀면 된다. 이 방법은 Elasticsearch에서 했던 방식 그대로 하면 된다. kibana 역시 이름을 kb-715로 설정..

1. Elasticsearch url 다운로드 링크 주소 복사 https://www.elastic.co/kr/downloads/ Elastic 제품을 다운로드 | Elastic Elasticsearch, Logstash, Kibana 및 Beats를 무료로 다운로드하고 몇 분 내에 Elastic APM, Elastic App Search, Elastic Workplace Search 등을 시작하세요. www.elastic.co 2. 터미널에서 wget 명령어로 다운로드 3. tar 압축파일 해제하기 tar xfzv하면 압축파일 해제하는 과정을 다 보여준다. 4. files라는디렉토리를 새로 만들어 tar 파일을 이동하기 5. elsaticsearch 이름 변경하기 -> es-715 6. elasticse..

1. ELK Stack이란? ELK는 세기술의 약자로 Elasticsearch 와 Logstash, Kibana의 앞글자들로 ELK라는 동물이 있어서 단어의 순서를 ELK 로 축약한 것 같다. 홈페이지의 설명을 따르면 ELK Stack 이란 Elasticsearch, Logstash 및 kibana 이 오픈소스 프로젝트 세개의 머리글자이다. Elasticsearch 는 검색 및 분석 엔진이다. (로그 저장 및 검색) Logstash 는 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch와 같은 "stash"로 전송하는 서버 사이드 데이터 처리 파이프라인이다. (로그 수집 엔진) Kibana는 사용자가 Elasticsearch 에서 차트와 그래프를 이용해 데이터를 시각화할 수 있게 ..