스프링 모니터링 (액츄에이터, 마이크로미터, 메트릭, 프로메테우스, 그라파나)

 

스프링 Actuator Endpoint (health, info, logger, httpexchanges) (tistory.com)

스프링 Actuator Endpoint (health, info, logger, httpexchanges)

저번 글에서 스프링이 제공하는 액츄에이터에 대해서 알아봤다. 

Actuator는 애플리케이션에 대해서 모니터링 및 관리할 수 있도록 도와주는 라이브러리이다. 

스프링은 여기에 더해서 마이크로미터, 프로메테우스, 그라파나와 같은 최근 유행하는 모니터링 시스템과도 매우 쉽게 연동할 수 있도록 기능을 제공한다. 

 

 

 

1️⃣ 마이크로미터 

서비스를 운영하면서 장애에 대응하기 위해서 모니터링을 해야하는데, 

이를 돕기 위해 다양한 모니터링툴이 존재한다. 모니터링 툴에게 시스템의 다양한 정보를 전달해주면 된다. 

(근데 이때 이 모니터링 툴이 잘 작동하려면 시스템의 다양한 정보들을 해당하는 각각의 모니터링 툴에 맞춰서 보내야 한다.) 

 

처음에는 cpu, jvm, jdbc 등의 정보를 JMX 툴에 전달한다고 하면 이 정보들을 JMX 모니터링 툴에서 정한 형식에 맞춰서 측정하고 전달해줬다. 

근데 중간에 모니터링 툴을 기존에 사용하던 JMX에서 최근 많이 사용한다는 프로메테우스로 변경하기로 결정했다고 한다면...

이 변경하기로한 모니터링 툴에 맞도록 다시 코드를 수정해야 한다. 

-> 이러한 문제를 해결하기 위해서 마이크로미터 Micrometer 라는 라이브러리가 있다. 

 

 

마이크로미터는 애플리케이션 메트릭 파사드 라고도 불리는데, 애플리케이션의 메트릭(측정 지표)를 마이크로미터가 정한 표준 방법으로 모아서 제공한다. -> 마이크로미터가 추상화를 통해서 구현체를 쉽게 변경할 수 있도록 도와준다. 

 

따라서 개발자는 마이크로미터가 정한 표준 방법으로 메트릭(측정 지표)를 전달하면 된다. 그리고 사용하고자 하는 모니터링 툴에 맞는 구현체를 선택하면 된다. (이후에는 모니터링 툴이 변경되어도 해당 구현체만 변경해주면 된다.) 

 

 

 

2️⃣ 메트릭 

개발자는 마이크로미터가 정한 표준 방법으로 CPU, JVM, 등의 수 많은 측정 지표들 직접 수집해서 등록하면 되는데 

마이크로미터가 메트릭 수집 기능도 이미 만들어서 제공해준다. 

그리고 스프링 부트 액츄에이터가 마이크로미터가 제공하는 지표 수집을 @AutoConfiguration 을 통해 자동으로 등록해주고 있기 때문에 스프링 부트 액츄에이터를 사용하면 메트릭 지표를 편리하게 사용할 수 있다. 

 

http://localhost:8080/actuator/metrics 

액츄에이터가 제공하는 metrics 앤드포인트를 사용하면 기본으로 제공하는 메트릭들을 확인할 수 있다. 

 

 

http://localhost:8080/actuator/metrics/system.cpu.count

이런식으로 하면 좀 더 자세히 메트릭을 확인할 수 있다. 

 

 

* Tag 필터 

http://localhost:8080/actuator/metrics/jv m.memory.used?tag=area:heap

이런식으로 tag=KEY:VALUE  형식을 사용하면 정보를 필터링해서 조회할 수 있다. 

 

http://localhost:8080/actuator/metrics/http.server.requests?tag=uri:/log&tag=status:200

-> uri가 /log 이면서 status 는 200인 http 요청 조회 

 

 

 

3️⃣ 메트릭 종류 

마이크로미터와 액츄에이터가 기본으로 제공하는 다양한 메트릭이 있다. 

 

* JVM 메트릭 

메모리 및 버퍼 풀 세부 정보, 가비지 수집 관련 통계, 스레드 활용, 로드 및 언로드된 클래스 수, JVM 버전 정보, JIT 컴파일 시간 등... 

 

 

* 시스템 메트릭 

system, process, disk 등으로 시작하고 CPU 지표, 파일 디스크립터 메트릭, 가동 시간 메트릭, 사용 가능한 디스크 공간 등을 확인할 수 있다. 

 

 

* 애플리케이션 시작 메트릭 

애플리케이션 시작 시간 메트릭도 제공한다. 

 

application.started.time : 애플리케이션을 시작하는데 걸리는 시간 (ApplicationStatedEvent 로 측정) 

application.ready.time: 애플리케이션이 요청을 처리할 준비가 되는데 걸리는 시간 (ApplicationReadyEvent 로 측정) 

 

ApplicationStatedEvent : 스프링 컨테이너가 완전히 실행된 상태 

ApplicationReadyEvent  : 커맨드 라인 러너가 실행된 이후에 호출

 

 

* 스프링 MVC 메트릭 

스프링 MVC 컨트롤러가 처리하는 모든 요청에 대해서 다룬다. 

그리고 tag 를 사용해서 자세히 조회할 수 있다. 

uri : 요청 URI 

method : GET, POST 같은 HTTP 메서드 

status : 200, 400, 500 같은 HTTP Status 코드 

exception: 예외 

outcome : 상태코드를 그룹으로 모아서 확인 1xx: INFORMATION, 2xx: SUCCESS, 3xx: REDIRECTION, 4xx : CLIENT_ERROR, 5xx: SERVER_ERROR

 

http://localhost:8080/actuator/metrics/http.server.requests?tag=uri:/log&tag=status:200

 

 

* 데이터소스 메트릭

DataSource, 커넥션 풀에 관한 메트릭을 확인할 수 있다. 

최대 커넥션, 최소 커넥션, 활성 커넥션, 대기 커넥션 수 등을 확인할 수 있다. 

히카리 커넥션 풀을 사용하면 hikaricp 를 통해 히카리 커넥션 풀의 자세한 메트릭을 확인할 수 있다. 

 

 

* 로그 메트릭 

logback 로그에 대한 메트릭을 확인할 수 있고, trace, debug, info, warn, error 각각의 로그 레벨에 따른 로그 수를 확인할 수 있다. 

 

 

* 톰캣 메트릭 ⭐

톰캣 메트릭을 모두 사용하려면 application.yml에 옵션을 키면 최대 쓰레드, 사용 쓰레드 수를 포함한 다양한 메트릭을 확인할 수 있다. 

server:
  tomcat:
    mbeanregistry:
      enabled: true

 

 

* 사용자 정의 메트릭 

회원가입 수, 주문 수.. 등 사용자가 직접 메트릭을 정의할 수 도 있다. 

 

 

* 기타 메트릭

HTTP 클라이언트 메트릭, 캐시 메트릭, 작업 실행과 스케줄 메트릭, 스프링 데이터 리포지토리 메트릭, 몽고DB 메트릭, 레디스 메트릭 등 .. 

 

 

 

4️⃣ 프로메테우스 

프로메테우스는 메트릭 수집, 시각화, 알림, 서비스 디스커버리 기능을 모두 제공하는 오픈 소스 모니터링 시스템이다. 

https://prometheus.io/docs/introduction/overview/

 

프로메테우스는 시계열을 저장하는 인메모리 데이터베이스이자 모니터링 및 경보 시스템으로 

애플리케이션에서 발생한 메트릭은 순간 순간만 확인하는 것이기 때문에 과거 이력까지 함께 확인하기 위해서는 메트릭을 보관하는 DB가 필요하다. 그리고 이렇게 하려면 어디선가 계속 메트릭을 수집하고 DB에 저장해야 하는데 이런 역할을 프로메테우스가 담당한다. 

 

 

 

5️⃣ 그라파나

그라파나는 시계열 데이터를 표시하는 오픈 소스 도구로 시각화, 탐색, 경고 설정을 하고 애플리케이션 데이터를 이해할 수 있는 대시보드 집합을 제공한다. 

 

프로메테우스가 DB라고 한다면 이 DB에 있는 데이터를 불러서 사용자가 보기 편하게 보여주는 대시보드가 필요한데 이때 그라파나는 매우 유연하게 데이터를 보여주는 툴이다. 

 

그라파나는 수 많은 그래프를 제공하고, 프로메테우스를 포함한 다양한 데이터 소스를 지원한다. 

 

 

 

 

6️⃣ 스프링 부트 액츄에이터, 프로메테우스, 그라파나 

- 먼저 스프링 부트 액츄에이터와 마이크로미터를 사용해 수 많은 메트릭을 자동으로 생성한다. 

-> 그 다음 프로메테우스는 만들어진 메트릭을 지속적으로 수집한다. 

-> 프로메테우스는 수집한 메트릭을 내부 DB에 저장한다.

-> 사용자는 그라파나 대시보드를 통해 그래프로 편리하게 메트릭을 조회한다. (메트릭 조회는 프로메테우스를 통해서 조회한다.)