스프링 & 프로메테우스 (설치, 설정, 기본 기능)

 

스프링 모니터링 (액츄에이터, 마이크로미터, 메트릭, 프로메테우스, 그라파나) (tistory.com)

스프링 모니터링 (액츄에이터, 마이크로미터, 메트릭, 프로메테우스, 그라파나)

저번 글에서 스프링 부트에서 모니터링할 때 지원하는 툴인 프로메테우스와 그라파나에 대한 개념? 정도 알아봤다. 

이번 글에서는 프로메테우스 먼저 설치하고 설정하는 방법을 알아볼 예정이다. 

 

 

 

 

1️⃣ 프로메테우스 설치 

먼저 프로메테우스를 사용하기 위해서는 설치부터 진행해야한다. (당연함) 

https://prometheus.io/download/

Download | Prometheus

위에 링크를 타고 들어가서 

각자의 운영환경에 맞는 파일을 선택해 다운받고 압축 해제해주면 된다. (mac은 darwin 이라고 적힌 압축파일 다운) 

 

압축 파일을 다운받아 해제한 다음 prometheus.exe 를 실행하면 되는데 

처음에는 

이런 화면을 볼 수 있는데 여기서 '추가 정보' 를 클릭한 다음에 '실행' 버튼 클릭해주면 된다. 

(아직 맥북에서는 설치를 해보지 않아서 설치하게 된다면 정보 추가 예정) 

 

실행한 다음 localhost:9090 (기본 포트 9090) 해서 프로메테우스 실행 화면을 볼 수 있다. 

 

2️⃣ 프로메테우스 설정 

프로메테우스는 메트릭을 수집하고 보관하는 DB이다. 

프로메테우스를 스프링과 연동하기 위해서는 2가지 설정을 해줘야 한다. 

 

- 애플리케이션 설정 : 프로메테우스가 애플리케이션의 메트릭을 가져갈 수 있도록 애플리케이션에서 프로메테우스 포맷에 맞추어 메트릭 만들기 

- 프로메테우스 설정 : 프로메테우스가 우리 애플리케이션의 메트릭을 주기적으로 수집하도록 설정 

 

 

애플리케이션 설정 

: 프로메테우스가 애플리케이션의 메트릭을 가져가려면 프로메테우스가 사용하는 포맷에 맞추어 메트릭을 만들어야 한다. 

스프링에서 액츄에이터를 통해 메트릭을 보면 (/actuator/metrics) json 형태로 이루어진 것을 확인할 수 있다. 

근데 프로메테우스는 json 형태를 알아볼 수 없고, 프로메테우스가 사용하는 포맷만 알아볼 수 있다. 

-> 이런 문제는 마이크로미터가 해결해준다. 

 

마이크로미터는 포맷에 대한 문제를 해결해주는데 스프링 액츄에이터를 사용하면 마이크로미터를 사용할 수 있고, 

각각의 메트릭들은 내부에서 마이크로미터 표준 방식으로 측정되고 있다. 

따라서 그냥 어떤 구현체를 사용할지만 결정해주면 된다. 

 

 

 build.gradle

implementation 'io.micrometer:micrometer-registry-prometheus'

build.gradle에 마이크로미터 프로메테우스 구현 라이브러리를 추가해주면 스프링 부트와 액츄에이터가 자동으로 마이크로미터 프로메테우스 구현체를 등록해서 동작하도록 설정해준다. 

 

gradle refresh 해준 다음에 다시 애플리케이션 실행한 다음, localhost:8080/actuator 를 보면 

프로메테우스 앤드포인트가 자동으로 추가된 것을 확인할 수 있다. 

 

http://localhost:8080/actuator/prometheus

이런식으로 모든 메트릭들이 프로메테우스 포맷으로 되어있는 것을 확인할 수  있다. 

 

 

* 프로메테우스 포맷

액츄에이터 메트릭

프로메테우스

 

이렇게 프로메테우스 포맷을 보면 jvm_info 로 . 대신에 _ 포맷을 사용하기 때문에 jvm.info 가 jvm_info 로 변환된 것을 확인할 수 있다. 

 

그리고 http.server.requests가 프로메테우스 포맷에서는  http_server_requests_seconds_count(요청 수), http_server_request_seconds_sum(시간 합, 요청수의 시간을 합함), http_server_request_seconds_max(최대 시간, 요청 중 가장 오래 걸린 요청 수 ) 로 3가지로 분리된다. 

 

 

 

프로메테우스 설정

애플리케이션 설정을 한 다음에는 프로메테우스가 이 메트릭을 주기적으로 수집할 수 있도록 설정해야 한다. 

 

prometheus.yml

프로메테우스 실행 폴더에 보면 prometheus.yml 이 있는데 여기에 

# 추가

  - job_name: "spring-actuator"

    metrics_path: '/actuator/prometheus'

    scrape_interval: 1s

    static_configs:

      - targets: ['localhost:8080']

이 정보를 추가해준다. (이때 띄어쓰기 주의..!!!!) 

 

프로메테우스가 애플리케이션의 /actuator/prometheus 를 호출해서 메트릭을 주기적으로 수집해 갈 수 있도록 설정하는건데 

job_name : 수집하는 이름으로, 사용자가 정의하는 이름이다. 

metrics_path : 수집할 경로를 지정 

scrape_interval : 수집할 주기를 지정 

targets : 수집할 서버의 IP, PORT 지정 

 

이렇게 정보를 추가해주면 프로메테우스가 http://localhost:8080/actuator/promethous 를 1초에 한번씩 호출해서 메트릭을 수집해온다. 

 

❗ 주의 

scrape_interval 을 지금은 예제이기 때문에 빠르게 확인하기 위해서 1s 즉, 1초로 설정해 확인하지만, 수집 주기의 기본은 1m 이다. 

수집 주기가 너무 짧게 설정되면 애플리케이션 성능에 영향을 줄 수 있기 때문에 운영에서는 10s ~ 1m 정도를 권장한다. ( 이것도 권장이니까 시스템 환경을 고려해서 설정하기) 

 

yml 설정을 끝낸 다음에 저장하고 다시 프로메테우스를 실행하면 된다. 

 

localhost:9090 으로 프로메테우스 화면에서 status -> targets 을 보면 연동된 것을 확인할 수 있다. 

http://localhost:9090/metrics 

-> 프로메테우스 자체에서 제공하는 메트릭으로 프로메테우스가 자신의 메트릭을 확인하는 것이다. 

 

http://localhost:9090/spring-actuator

-> 애플리케이션 메트릭 정보 

 

-> State가 up이면 정상이고, down 이면 연동이 안되어 있는 것이다. 

 

 

프로메테우스 데이터 조회는 저 검색창에 메트릭을 검색해서 조회할 수 있다. 

3️⃣ 프로메테우스 기본 기능 

 

* 기본 조회 

위에 기본 화면에서 http_server_requests_seconds_count 를 입력하고 실행해보면 

 

수집하고 있는 메트릭 정보를 조회할 수 있다.

굵은 글씨로 error, exceptioni, instance, job, method, outcome, status, uri는 각각 메트릭 정보를 구분해서 사용하는 태그로 

마이크로미터에서는 태그Tag, 프로메테우스에서는 레이블Label 이라고 부른다. 

그리고 맨 오른쪽에 숫자가 메트릭 값이다. 

 

그리고 Graph 탭을 클릭하면 

메트릭 값을 그래프로 조회할 수 도 있다. 

 

 

* 필터

조회할 때 레이블(태그)를 기준으로 필터를 사용해서 조회할 수 있다. 

이때 필터는 {} 중괄호 문법을 사용한다. 

 

= 제공된 문자열과 정확히 일치하는 레이블 선택

!= 제공된 문자열과 일치하지 않는 레이블 선택

=~ 제공된 문자열과 정규식 일치하는 레이블 선택

!~ 제공된 문자열과 정규식 일치하지 않는 레이블 선택

 

 

http_server_requests_seconds_count{uri="/log", method="GET"}

uri=/log, method= GET 인 조건으로 조회 

 

 

http_server_requests_seconds_count{uri!="/actuator/prometheus"}

uri != 를 사용해서 /actuator/prometheus 를 제외한 조건으로 조회한다. 

 

 

http_server_requests_seconds_count{method=~"GET|POST"}

 

http_server_requests_seconds_count{uri!~"/actuator.*"}

* 연산자 쿼리와 함수 

+ (덧셈), - (뺄셈), * (곱셈)  , / (분할) , % (모듈로) , ^ (승수/지수) 연산자 지원 

 

sum : 합계 

 sum(http_server_requests_seconds_count)

sum by(method, status) (http_server_request_seconds_count)

 

count : 메트릭 자체 수 카운트 

count(http_server_requests_seconds_count)

 

 

topk : 상위 3개 메트릭 

topk(3, http_server_requests_seconds_count)

 

오프셋 수정자 : 현재를 기준으로 특정 과거 시점 데이터 반환 

http_server_requests_seconds_count offset 10m

범위 백터 선택기  : 마지막에 [1m], [60s]와 같이 표현하는 것으로 지난 1분간의 모든 기록값을 선택한다. 

http_server_requests_seconds_count[1m]

 

 

 

 

4️⃣ 게이지 Gauge, 카운터 Counter 

 

* 게이지 Gauge 

: 게이지는 오르고 내리고 하는 값으로 CPU 사용량, 메모리 사용량, 사용중인 커넥션 수 등이 있다. 

게이지는 현재 상태를 그대로 출력해서 사용하면 된다. 

 

system_cpu_usage

 

 

* 카운터 Counter

: 카운터는 단순하게 증가하는 단일 누적 값으로 HTTP 요청 수, 로그 발생 수 등이 있다. 

 

 http_server_requests_seconds_count{uri="/log"}

uri= /log HTTP 요청 메트릭을 그래프로 조회하는 것인데 카운터는 계속 누적해서 증가하는 값이기 때문에 이 그래프를 보면 계속 증가하는 그래프만 보게 된다. 

이 그래프만 보면 언제 고객의 요청이 많았고 없었는지 파악하기 어렵다. 

-> 이러한 문제를 해결하기 위해 increase(), rate() 등을 지원한다.

 

 

increase()

: 지정한 시간 단위별로 증가를 확인할 수 있다 . 

 

ex) increase(http_server_requests_seconds_count{uri="/log"}[1m])

increase(메트릭, [시간]) [시간] 을 사용해서 범위 벡터를 선택해줘야 한다. 

 

 

rate()

: 범위 벡터에서 초당 평균 증가율을 계산한다.

 

increase가 숫자를 직접 카운트하는 것이라면 rate()는 초당 평균을 나누어서 계산한다. 

 

 

irate()

: 범위 벡터에서 초당 순간 증가율을 계산한다. 

 

👾 게이지는 값이 계속 변하기 때문에 현재 값을 그대로 그래프로 표현해주면 되지만 카운터는 계속 증가하기 때문에 increase(), rate() 등을 사용해서 표현하면 된다.