서버 모니터링 with docker => 3. grafana, prometheus, nodeexporter, cadvisor, alertmanager

728x90

🍺 목차 🍺(보시려면 아래 더보기 를 눌러주세요.)

서버 모니터링 with docker => 1. vnstat

서버 모니터링 with docker => 2. netdata

서버 모니터링 with docker => 3. grafana, prometheus, nodeexporter, cadvisor, alertmanager

서버 모니터링 with docker => 4. mysqld-exporter, nginx-prometheus-exporter

서버 모니터링 with docker => 5. grafana를 이용하여 복수 서버를 한 곳에서 모니터링 하기

1. 설치할 것들

가. nodeexporter : 서버 및 네트워크 정보 등 시스템 metric 데이터를 수집하여 제공

나. cadvisor : 컨테이너들의 정보 데이터를 수집하여 제공

다. prometheus : 모니터링 대상의 metric 데이터를 수집

라. alertmanager : prometheus에서 생성된 경고를 수신 끝점으로 라우팅

마. grafana : 메트릭 데이터를 차트, 그래프 등으로 시각화해서 보여주는 도구

2. 파일 수정

가. docker-dompose.yml 수정

### 윗 부분 동일 ###
services:
  front_nginx:
    container_name: front_nginx_cname
    image: mungkhs/nginxwaf:1.1 #DockerHub에 올려진 우리의 이미지를 이용함.
    restart: always
	privileged: true    
    ports:
      - "80:80"
      - "81:81"
      - "82:82"
      - "8685:8685"   #vnstat
      #- "19999:19999" #netdata는 주석 처리 할 것  
      - "3000:3000"       #🔴grafana 포트 추가

### 중간 부분 동일 ###
### 이전 게시글의 netdata 부분은 주석 처리(삭제)하기 ###
### 아래 부분 추가 ###

  prometheus:
    image: prom/prometheus:v2.40.2
    container_name: prometheus
    user: root
    volumes:
      - ./prom/prometheus:/etc/prometheus
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.console.libraries=/etc/prometheus/console_libraries'
      - '--web.console.templates=/etc/prometheus/consoles'
      - '--storage.tsdb.retention.time=200h'
      - '--web.enable-lifecycle'
    restart: unless-stopped
    depends_on:
        - cadvisor
    expose:
        - 9090
    #ports:
    #    - 9090:9090
    networks:
        - mung_net
  alertmanager:
    image: prom/alertmanager:v0.24.0
    container_name: alertmanager
    volumes:
      - ./prom/alertmanager:/etc/alertmanager
    command:
      - '--config.file=/etc/alertmanager/config.yml'
      - '--storage.path=/alertmanager'
    restart: unless-stopped
    expose:
      - 9093
    networks:
      - mung_net           
  nodeexporter:
    image: prom/node-exporter:v1.4.0
    container_name: nodeexporter
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - '--path.procfs=/host/proc'
      - '--path.rootfs=/rootfs'
      - '--path.sysfs=/host/sys'
      - '--collector.filesystem.ignored-mount-points=^/(sys|proc|dev|host|etc)($$|/)'
    restart: unless-stopped
    expose:
      - 9100
    networks:
      - mung_net
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.46.0
    container_name: cadvisor
    privileged: true
    command:
      - '-housekeeping_interval=10s'
      - '-docker_only=true'
    devices:
      - /dev/kmsg:/dev/kmsg
    security_opt:
      - no-new-privileges:true      
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker:/var/lib/docker:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /sys/fs/cgroup:/cgroup:ro
      - /dev/disk/:/dev/disk:ro      
    restart: unless-stopped
    expose:
      - 8080
    networks:
      - mung_net      
  grafana:
    image: grafana/grafana:9.2.5
    container_name: grafana
    volumes:
      - grafana_data:/var/lib/grafana
      - ./prom/grafana/provisioning:/etc/grafana/provisioning
    environment:
      - GF_SECURITY_ADMIN_USER=admin        #🔴grafana 로그인 아이디 설정
      - GF_SECURITY_ADMIN_PASSWORD=password #🔴grafana 로그인 패스워드 설정 
      - GF_USERS_ALLOW_SIGN_UP=false
    restart: unless-stopped
    depends_on:
      - cadvisor
      - prometheus
    expose:
      - 3000
    #ports:
    #    - 3000:3000
    networks:
      - mung_net
volumes:
  vnstatdb:
  prometheus_data:  #🔴추가
  grafana_data:     #🔴추가

나. docker/front/default.conf 파일에 아래 내용 추가

 ### 이전에 추가했던 netdata 부분은 주석 처리하기

server {
    listen 3000;

    location / {
        proxy_pass         http://grafana:3000;
        proxy_redirect     off;
        proxy_set_header   Host $host;
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_buffering off;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Port $server_port;
    }
}

🔴 방화벽에서 3000 포트 열어주기

3. 각종 프로그램들 설정 파일들 수정

폴더 및 파일들은 소스 파일들을 다운받아 참고하세요.

가. prom/alertmanager/config.yml 파일 수정

이렇게 설정해두면 서버에 문제가 발생시 이메일로 내용이 바로 전송됩니다.

route:
    receiver: email-alert

receivers:
    - name: email-alert
      email_configs:                     ## 여기서는 지메일을 예시로 함  
      - to: 아이디@gmail.com             ## 받을 메일 주소
        from: 아이디@gmail.com           ## 보낼 메일 주소
        smarthost: smtp.gmail.com:587    ## gmail smtp 주소
        auth_username: 아이디@gmail.com  ## gmail 사용자 정보
        auth_identity: 아이디@gmail.com  ## gmail 사용자 정보
        auth_password: bsy*************  ## 1️⃣ 앱 비밀번호
        send_resolved: true

위 1️⃣번 부분 앱 비밀번호 발급 방법은 아래 게시글을 참고해 보시기 바랍니다.

https://hyunmin1906.tistory.com/276

나. prom\prometheus\alert.rules 수정

groups:
- name: targets
  rules:
  - alert: monitor_service_down
    expr: up == 0
    for: 30s
    labels:
      severity: critical
    annotations:  ##🔴원하는 대로 아래 메시지 수정
      summary: "mungssem Monitor service non-operational"
      description: "mungssem Service {{ $labels.instance }} is down."

- name: host
  rules:
  - alert: high_cpu_load1
    expr: node_load1 > 60    ##🔴원하는 값으로 수정
    for: 30s
    labels:
      severity: warning
    annotations:  ##🔴원하는 대로 아래 메시지 수정
      summary: "mungssem Server under high load"
      description: "mungssem Docker host is under high load, the avg load 1m is at {{ $value}}. Reported by instance {{ $labels.instance }} of job {{ $labels.job }}."

  - alert: high_memory_load
    expr: (sum(node_memory_MemTotal_bytes) - sum(node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes) ) / sum(node_memory_MemTotal_bytes) * 100 > 85
    for: 30s
    labels:
      severity: warning
    annotations:  ##🔴원하는 대로 아래 메시지 수정
      summary: "mungssem Server memory is almost full"
      description: "mungssem Docker host memory usage is {{ humanize $value}}%. Reported by instance {{ $labels.instance }} of job {{ $labels.job }}."

  - alert: high_storage_load  
    expr: (node_filesystem_size_bytes{fstype="aufs"} - node_filesystem_free_bytes{fstype="aufs"}) / node_filesystem_size_bytes{fstype="aufs"}  * 100 > 85
    for: 30s
    labels:
      severity: warning
    annotations:  ##🔴원하는 대로 아래 메시지 수정
      summary: "mungssem Server storage is almost full"
      description: "mungssem Docker host storage usage is {{ humanize $value}}%. Reported by instance {{ $labels.instance }} of job {{ $labels.job }}."

- name: containers
  rules:
  - alert: container_down
    expr: |                ##🔴아래 컨테이너명들을 자신에 맞게 수정
        (absent(container_memory_usage_bytes{name="front_nginx_cname"}) 
        or absent(container_memory_usage_bytes{name="nginx_cname"})
        or absent(container_memory_usage_bytes{name="nginx_cname2"})
        or absent(container_memory_usage_bytes{name="php_cname"}) 
        or absent(container_memory_usage_bytes{name="php2_cname"})
        or absent(container_memory_usage_bytes{name="mysql_cname"})
        or absent(container_memory_usage_bytes{name="phpmyadmin_cname"})
        )
    for: 1m
    labels:
      severity: critical
    annotations:    ##🔴원하는 대로 아래 메시지 수정
      summary: "mungssem Container '{{ $labels.name }}' down"
      description:  "mungssem container with  name '{{ $labels.name }}' is down for more than one minute in main VM"

다. 그외의 설정 파일들은 그대로 사용함. 단, 컨테이너명을 위와 다르게 생성할 경우 각각의 설정 파일들을 수정해 주어야 함.

4. grafana 실행 화면

가. 우선 컨테이너를 생성한 후 http://서버아이피:3000 으로 접속합니다.

나. docker-compose.yml에서 설정한 아이디, 패스워드를 입력 후 로그인 한 후, 아래와 같이 순서대로 눌러줍니다.

다. 그럼 아래와 같이 서버, 컨테이너 들의 정보들을 볼 수 있습니다.

5. 경고 메일 예시

위 alertmanager 설정에서 경고 메일 받을 곳을 지메일로 해두었습니다. 따라서, 서버에 경고 상황이 발생되면 아래와 같이 메일이 바로 날아오게 됩니다.

🍺🍺 작업한 모든 소스는 아래 링크에서 확인하실 수 있습니다. 🍺🍺

https://github.com/mmssem/ServerMonitoring

GitHub - mmssem/ServerMonitoring

Contribute to mmssem/ServerMonitoring development by creating an account on GitHub.

github.com