서버 모니터링 with docker => 5. grafana를 이용하여 복수 서버를 한 곳에서 모니터링 하기

🍺 목차 🍺(보시려면 아래 더보기 를 눌러주세요.)

서버 모니터링 with docker => 1. vnstat

서버 모니터링 with docker => 2. netdata

서버 모니터링 with docker => 3. grafana, prometheus, nodeexporter, cadvisor, alertmanager

서버 모니터링 with docker => 4. mysqld-exporter, nginx-prometheus-exporter

서버 모니터링 with docker => 5. grafana를 이용하여 복수 서버를 한 곳에서 모니터링 하기

---

 

 

1. 복수 서버를 한 곳에서 관리하는 방법

복수 서버를 한 곳에서 관리하는 방법은 여러가지가 있습니다.

가. 운영 서버들에 nodeexporter 까지만 설치 후, 관리 서버에 prometheus를 설치하여 각 서버의 정보를 받아오는 방법

나. 운영 서버들에 prometheus 까지 설치 후, 관리 서버의 grafana 에서 각 서버의 정보를 받아오는 방법

단. 위와 같이 하기 위해서는 각 운영 서버들의 해당 포트를 잘 열어두어야 겠지요?

 

2.  운영 서버들의 설정 파일들 수정

가. 우선 위 두가지 경우를 위해 모두 같이 설정을 해 줄 것입니다.

나. 운영 서버들에서 9090, 9100포트를 열어줍니다.

다. 운영 서버들의 docker-compose.yml 파일 수정

### 윗부분 동일 ###

services:
  front_nginx:
    container_name: front_nginx_cname
    #image: mungkhs/nginxwaf:1.1
    build: ./docker/front/
    restart: always
    privileged: true
    ports:
      - "80:80"
      - "81:81"
      - "82:82"
      - "8685:8685"   #vnstat
      #- "19999:19999" #netdata
      - "3000:3000"       #grafana
      - "9090:9090"       #prometheus   #🔴 포트 추가
      - "9100:9100"       #nodeexpoter  #🔴 포트 추가

### 아랫 부분 동일 ###

 

라. 운영 서버들의 docker\front\default.conf 파일 수정

### 아랫 부분에 추가 ###

server {
    listen 9090;

    location / {
        proxy_pass         http://prometheus:9090;
        proxy_redirect     off;
        proxy_set_header   Host $host;
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_buffering off;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Port $server_port;
    }
}

server {
    listen 9100;

    location / {
        proxy_pass         http://nodeexporter:9100;
        proxy_redirect     off;
        proxy_set_header   Host $host;
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_buffering off;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Port $server_port;
    }
}

 

마. 이제 서버들 모두 컨테이너를 새로 생성해 줍니다.

 

3. (방법1) 운영 서버 nodeexporter -> 관리 서버 prometheus

가. 관리 서버의 prom\prometheus\prometheus.yml 파일 수정

### scrape_configs: 부분 아랫쪽에 추가 ###

  - job_name: 'All'
    scrape_interval: 15s
    scrape_timeout: 15s 
    static_configs:
      - targets: ['111.222.123.12:9100']   
      - targets: ['check.mung.kr:80']

나. 관리 서버의 컨테이너를 새로 생성합니다.

다. 관리 서버의 3000번 포트로 접속 후 로그인 합니다.

라. Dashboard import를 눌러 준 후, 우리가 사용할 아래 Dashboard의 ID 값을 복사 후 입력해 줍니다.

https://grafana.com/grafana/dashboards/11074-node-exporter-for-prometheus-dashboard-en-v20201010/?tab=reviews 

1 Node Exporter for Prometheus Dashboard EN 20201010 | Grafana Labs

 

마. 아래처럼 관리 서버에서 여러 대의 운영 서버를 모니터링 할 수 있습니다.

 

4. (방법2) 운영 서버 prometheus -> 관리 서버 grafana

가. 관리 서버의 grafana 에서 아래 그림처럼 data source를 추가합니다.

 

나. prometheus를 선택해줍니다.

 

다. HTTP URL 부분에 운영 서버의 주소와 Prometheus 포트를 입력합니다.

 

라. 맨 밑의 Save & test 를 눌렀을 때 아래 화면처럼 나오면 제대로 연결이 된 것입니다.

 

마. 이제 grafana Dashboard 홈페이지에서 적당한 Dashboard를 선택한 후 id를 가져옵니다.

https://grafana.com/grafana/dashboards/

 

바. 관리 컴퓨터에서  Dashboards import 를 누른 후 위 아이디를 입력한 후 Load를 눌러줍니다.

 

사. 다음 화면의 맨 밑에서 두번째 항목을 선택한 후 import를 눌러줍니다.

 

아. 이제 다음과 같이 관리 서버에서 운영 서버를 모니터링 할 수 있습니다.

위 같은 경우 몇몇 정보는 볼 수가 없지만, 해결 방법에 대해서는 저도 잘 모릅니다. ^^;

 

---

🍺🍺 작업한 모든 소스는 아래 링크에서 확인하실 수 있습니다. 🍺🍺

https://github.com/mmssem/ServerMonitoring

GitHub - mmssem/ServerMonitoring

---