서버 모니터링 with docker => 1. vnstat

🍺 목차 🍺(보시려면 아래 더보기 를 눌러주세요.)

서버 모니터링 with docker => 1. vnstat

서버 모니터링 with docker => 2. netdata

서버 모니터링 with docker => 3. grafana, prometheus, nodeexporter, cadvisor, alertmanager

서버 모니터링 with docker => 4. mysqld-exporter, nginx-prometheus-exporter

서버 모니터링 with docker => 5. grafana를 이용하여 복수 서버를 한 곳에서 모니터링 하기

---

 

 

취미로 프로그래밍을 하면서 만든 몇 개의 웹서비스들을 몇 개의 프리티어 서버에서 운영하고 있습니다.

그러다보니 서버마다 트래픽은 어느 정도인지, 접속자 수는 어느 정도 되는지, 서버는 죽지 않았는지 늘 궁금했습니다. 예전에 호스팅을 이용할 때 트래픽 초과로 접속이 차단된 적이 있었기 때문입니다. 더구나 aws는 무료 트래픽이 초과되면 사용 요금이 나올테니까요.

영화나 TV에서 보면 수많은 모니터를 통해 서버 사용량, 트래픽 등을 체크하는 모습들을 보면 나도 그런 것을 해보고 싶다는 생각을 해보았습니다. 하지만, 그때는 직접 서버를 운영하지 않았기에 나와 상관없는 이야기라 넘겼지만, 올 들어 몇개의 무료 클라우드 서버를 구축하게 되었고, 이제 나도 그런 것들을 해보고 싶다는 생각을 해보았습니다.

그래서 몇가지 무료 모니터링 프로그램을 알게 되고, 직접 설치를 해보았지만 번번히 실패를 하게 되었습니다. 리눅스 종류 때문에, 버전 때문에, 기타 여러 이유 때문에 쉽지 않은 작업이었습니다. 실패하고 나서는 다시 서버를 삭제 후 처음부터 다시 생성 및 설치를 반복하다보니 너무 시간도 걸리고 어려운 작업이었습니다.

그리고, 한동안 포기를 했다가, docker를 이용하는 방법을 알게 되었고, 정말 손쉽게 여러 프로그램을 설치했다, 지웠다를 반복해 볼 수 있었습니다.

그리고, 정말 좋은 것은 집에 있는 윈도우즈 컴퓨터에서 도커를 이용하여 충분히 테스트하여 성공한 후, 클라우드 서버로 올려 실행을 해보면 대부분 문제없이 잘 실행이 된다는 것입니다. 그러기에, 설정을 마음대로 이렇게 저렇게 수십번 바꾸어가면서 아주 손쉽게(?) 공부를 해볼 수 있었습니다. 

이제, 지난 두 달 가까이 재미있게 테스트 해 본 몇가지 무료 서버 모니터링 공부 내용을 기록으로 남겨봅니다.

다만, 여기에서 소개하는 내용들은 모두 docker-compose.yml 을 이용하여 여러 프로그램들을 아주 손쉽게 한번에 모두 설치하는 방법입니다.

그리고, 기본 웹서버 프로그램들은 이전 게시글에서 사용하였던 최종 소스를 사용할 것입니다. 

https://github.com/mmssem/ModSecurityFail2ban/releases/tag/최종파일

🔴 위 소스에는 dockerfile을 이용하여 이미지를 직접 생성하는 코드가 들어있습니다. 이렇게 하면 시간이 무척 걸립니다. 따라서, 위 소스에서 딱 한줄을 꼭 수정하신 후,  아래 내용을 테스트 해보시기 바랍니다. 물론 시간이 많으시다면 위 소스를 그대로 사용하셔도 됩니다. 소스 수정 내용은 아래 게시글을 참고하시기 바랍니다.

Nginx + ModSecurity + Fail2ban + Docker => 5. Dockerhub 이미지 사용

Nginx + ModSecurity + Fail2ban + Docker => 5. Dockerhub 이미지 사용

 

1. vnstat

1) vnstat는 원래 콘솔 기반 네트워크 트래픽 모니터입니다. 각각의 인터페이스에 대한 시간별, 일별 및 월별 트래픽 기록을 볼 수 있습니다.

 

2) docker를 이용하여 설치를 하면 아주 손쉽게 설치를 하여 사용할 수 있으며, 아주 간단한 방법으로 웹에서도 손쉽게 모니터링 할 수 있습니다.

참고로 vnstat의 도커 허브 이미지는 아래와 같습니다.

vergoh/vnstat - Docker Image | Docker Hub

Docker Hub

 

3) docker-compose.yml 수정

#### 윗 부분 동일 ####

services:
  front_nginx:
    container_name: front_nginx_cname
    image: mungkhs/nginxwaf:1.1   #🔴DockerHub에 올려진 우리의 이미지를 이용함.
    restart: always
    privileged: true
    ports:
      - "80:80"
      - "81:81"
      - "82:82"
      - "8685:8685"   #🔴 vnstat을 위한 포트 추가 부분
    volumes:

#### 기존 docker-compose.yml 파일 맨 밑에 아래 내용 추가 ####
  
  vnstat:
    image: vergoh/vnstat:latest
    container_name: vnstat
    restart: unless-stopped
    network_mode: "host"
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
      - vnstatdb:/var/lib/vnstat
    environment:
      - HTTP_PORT=0
  vnstati:
    image: vergoh/vnstat:latest
    container_name: vnstati
    restart: unless-stopped
    #ports:
    #  - "8685:8685"    
    expose:
      - 8685          #여기서는 nginx의 프록시 기능을 이용함.
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
      - vnstatdb:/var/lib/vnstat:ro
    environment:
      - HTTP_PORT=8685
      - HTTP_LOG=/dev/stdout
      - LARGE_FONTS=0
      - CACHE_TIME=1
      - RATE_UNIT=1
      - PAGE_REFRESH=0
      - RUN_VNSTATD=0
    networks:
      - mung_net
volumes:            #위 vnstat와 vnstati에서 사용하는 volumes 
  vnstatdb:         #이 볼륨 안에 과거 기록까지 차곡차곡 저장됨.

🔴 서버에서 위처럼 사용하려면 반드시 8685 포트를 열어주어야 합니다.

✅ 위에서 ports를 이용하면, front_nginx 의 리버스 프록시 기능을 사용하지 않고 외부에서 8685 포트로 직접 접속할 수도 있습니다. 또한, 서버에서 8685 포트를 열지 않고, front_nginx 의 리버스 프록시 기능을 이용하여 오로지 80포트만 열어두고, 하위 디렉토리를 8685 포트로 연결하여  사용할 수도 있습니다.

🍺 다만, 추후 도메인을 연결한 후 그 하위 도메인을 이용한다면, 오로지 80포트만 열어두고, front_nginx 의 리버스 프록시 기능으로 하위 도메인 중 하나를 vnstat로 연결할 수 있기에 저는 이렇게 설정하는 것을 선호함을 참고하시기 바랍니다.

🔴✨✨🔴 최근에 알게 되었네요. vnstat에서 실행중인 컨테이너 중 몇개가 보이지 않는다는 사실을요. 이유를 확인해 보니, 여러 컨테이너가 생성될때 vnstat 컨테이너 생성 이후에 생성되는 다른 컨테이너들은 보이지 않는다는 사실을요. 그래서 vnstat 컨테이너를 맨 마지막에 생성되도록 하였더니 이제 모두다 잘 보이네요. depends_on 명령으로 다른 컨테이너가 모두 생성된 후에 vnstat가 생성되도록 하시기 바랍니다.

https://mungkhs1.tistory.com/54  참고

(한가지 더) 컨테이너들을 재생성 하게되면, vnstat 에서는 이전 컨테이너들 결과만 보여 제대로 작동이 되지 않습니다. 이때는 컨테이너 재생성 전에, vnstat의 볼륨인 vnstatdb를 먼저 삭제 후 재생성하시면 됩니다.

 

4) docker/front/difault.conf 수정

#### 윗부분은 동일하며, 맨 아래쪽에 아래와 같이 server 블럭을 추가함 ####

server {
    listen 8685;

    location / {
        proxy_pass         http://vnstati:8685;
        proxy_redirect     off;
        proxy_set_header   Host $host;
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        
        proxy_buffering off;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Port $server_port;
    }
}

 

5) docker-compose.yml로 컨테이너 생성한 후, 8685 포트로 접속을 해봅니다.

🔴 처음에는 저장된 기록이 없기에 아래와 같이 나타납니다.

✅ 어느 정도 시간이 지나면 아래와 같은 화면을 보실 수 있습니다.

✅ 위에서 특정 항목을 눌러보면 좀더 자세한 내용을 보실 수 있습니다.

 

2. vnstat의 단점 및 해결

  위에서 보듯이 veth~~~~~ 이런 식으로만 나오고, 컨테이너 이름이 나오지 않습니다. 컨테이너가 적으면 상관없지만, 조금 많다면 어느게 어느 것인지 구별하기가 어렵습니다. 이럴 경우 몇가지 명령을 통해 확인을 하고, 이름을 지정해 줄 수 있습니다.

 자세한 내용은 예전에 기록해 두었던 글을 참고해 주시기 바랍니다.

https://mungkhs1.tistory.com/54

11. 서버에 vnstat 설치 (docker-compose.yml 이용)

 

---

🍺🍺 작업한 모든 소스는 아래 링크에서 확인하실 수 있습니다. 🍺🍺

https://github.com/mmssem/ServerMonitoring

GitHub - mmssem/ServerMonitoring

---