# 실습 디렉토리 준비
mkdir -p /tmp/docker/part4/exam_4 && cd /tmp/docker/part4/exam_4

# 모니터링 스택 디렉토리 구조 생성
mkdir -p prometheus grafana/dashboards grafana/datasources

# Prometheus 기본 설정 파일 생성
cat > prometheus/prometheus.yml << 'EOF'
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['cadvisor:8080']
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['node-exporter:9100']
EOF

# ~/monitoring-lab/prometheus/prometheus.yml
global:
  scrape_interval: 15s       # 15초마다 메트릭 수집
  evaluation_interval: 15s   # 15초마다 알림 규칙 평가

# 알림 규칙 파일 경로
rule_files:
  - "alert_rules.yml"

# 스크래핑 대상 설정
scrape_configs:
  # Prometheus 자기 자신 모니터링
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  # cAdvisor — 컨테이너 메트릭
  - job_name: "cadvisor"
    static_configs:
      - targets: ["cadvisor:8080"]
    # 유용하지 않은 고빈도 메트릭 제외 (스토리지 절약)
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: "container_(tasks_state|memory_failures_total)"
        action: drop

# ~/monitoring-lab/prometheus/alert_rules.yml
groups:
  - name: container_alerts
    rules:
      # 메모리 사용률 80% 초과 경고
      - alert: ContainerHighMemoryUsage
        expr: |
          (container_memory_working_set_bytes{container!=""}
          / container_spec_memory_limit_bytes{container!=""}) * 100 > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "컨테이너 메모리 사용률 높음: {{ $labels.container }}"
          description: "{{ $labels.container }} 컨테이너의 메모리 사용률이 {{ $value | humanize }}%입니다."

      # CPU throttling 감지
      - alert: ContainerCpuThrottling
        expr: |
          rate(container_cpu_throttled_seconds_total{container!=""}[5m]) > 0.1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "CPU throttling 감지: {{ $labels.container }}"
          description: "{{ $labels.container }} 컨테이너에서 CPU throttling이 발생하고 있습니다."

# ~/monitoring-lab/docker-compose.yml
version: "3.9"

services:
  # 컨테이너 메트릭 수집 에이전트
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.47.2
    container_name: cadvisor
    privileged: true                # cgroup 접근에 필요
    devices:
      - /dev/kmsg:/dev/kmsg
    volumes:
      - /:/rootfs:ro                # 호스트 루트 파일시스템
      - /var/run:/var/run:ro
      - /sys:/sys:ro                # cgroup 정보
      - /var/lib/docker:/var/lib/docker:ro
      - /dev/disk/:/dev/disk:ro
    ports:
      - "8080:8080"
    restart: unless-stopped
    networks:
      - monitoring

  # 시계열 메트릭 저장소
  prometheus:
    image: prom/prometheus:v2.48.0
    container_name: prometheus
    volumes:
      - ./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - ./prometheus/alert_rules.yml:/etc/prometheus/alert_rules.yml:ro
      - prometheus_data:/prometheus
    command:
      - "--config.file=/etc/prometheus/prometheus.yml"
      - "--storage.tsdb.path=/prometheus"
      - "--storage.tsdb.retention.time=15d"  # 15일 데이터 보존
      - "--web.enable-lifecycle"             # API로 설정 리로드 허용
    ports:
      - "9090:9090"
    restart: unless-stopped
    networks:
      - monitoring
    depends_on:
      - cadvisor

  # 시각화 대시보드
  grafana:
    image: grafana/grafana:10.2.0
    container_name: grafana
    volumes:
      - grafana_data:/var/lib/grafana
    environment:
      GF_SECURITY_ADMIN_USER: admin
      GF_SECURITY_ADMIN_PASSWORD: monitoring123
      GF_USERS_ALLOW_SIGN_UP: "false"
      GF_SERVER_ROOT_URL: "http://localhost:3000"
    ports:
      - "3000:3000"
    restart: unless-stopped
    networks:
      - monitoring
    depends_on:
      - prometheus

  # 부하 발생용 테스트 컨테이너 (메트릭 데이터 생성 목적)
  load-generator:
    image: nginx:alpine
    container_name: load-generator
    deploy:
      resources:
        limits:
          cpus: "0.5"
          memory: 128M
    networks:
      - monitoring

networks:
  monitoring:
    driver: bridge

volumes:
  prometheus_data:
  grafana_data:

cd ~/monitoring-lab
docker compose up -d

# 기동 확인
docker compose ps
# cadvisor     ... running   0.0.0.0:8080->8080/tcp
# prometheus   ... running   0.0.0.0:9090->9090/tcp
# grafana      ... running   0.0.0.0:3000->3000/tcp

# Prometheus UI: http://localhost:9090

# 타겟 상태 API로 확인
curl -s http://localhost:9090/api/v1/targets | \
  python3 -m json.tool | grep -E '"health"|"job"|"scrapeUrl"'

# 정상 출력 예시:
# "health": "up",
# "job": "cadvisor",
# "scrapeUrl": "http://cadvisor:8080/metrics",

# 모든 컨테이너의 초당 CPU 사용률 (코어 단위)
rate(container_cpu_usage_seconds_total{container!=""}[5m])

# 특정 컨테이너 CPU 사용률
rate(container_cpu_usage_seconds_total{name="load-generator"}[5m])

# CPU 사용률 % (CPU 코어 수 대비)
rate(container_cpu_usage_seconds_total{container!=""}[5m])
* 100

# CPU throttling 비율 (0~1, 높을수록 성능 제한 중)
rate(container_cpu_throttled_seconds_total{container!=""}[5m])
/
rate(container_cpu_usage_seconds_total{container!=""}[5m])

# 컨테이너별 현재 메모리 사용량 (바이트)
container_memory_working_set_bytes{container!=""}

# 메모리 제한 대비 사용률 (%)
(
  container_memory_working_set_bytes{container!=""}
  /
  container_spec_memory_limit_bytes{container!=""}
) * 100

# 메모리 사용량 MB 단위로 표시
container_memory_working_set_bytes{container!=""} / 1024 / 1024

# RSS 메모리 (실제 물리 메모리 점유)
container_memory_rss{container!=""} / 1024 / 1024

# 초당 수신 바이트 (KB/s 단위)
rate(container_network_receive_bytes_total{container!=""}[5m]) / 1024

# 초당 송신 바이트 (KB/s 단위)
rate(container_network_transmit_bytes_total{container!=""}[5m]) / 1024

# 네트워크 오류율
rate(container_network_receive_errors_total{container!=""}[5m])
+
rate(container_network_transmit_errors_total{container!=""}[5m])

# 메모리 사용량 상위 5개 컨테이너
topk(5, container_memory_working_set_bytes{container!=""})

# 최근 5분간 CPU를 가장 많이 사용한 컨테이너
topk(3, rate(container_cpu_usage_seconds_total{container!=""}[5m]))

# 메모리 제한이 설정된 컨테이너 중 80% 이상 사용 중인 것
(
  container_memory_working_set_bytes{container!=""}
  /
  container_spec_memory_limit_bytes{container!=""} > 0
) * 100 > 80

# Grafana API로 데이터소스 자동 설정 (UI 대신 자동화)
curl -X POST \
  -H "Content-Type: application/json" \
  -u admin:monitoring123 \
  http://localhost:3000/api/datasources \
  -d '{
    "name": "Prometheus",
    "type": "prometheus",
    "url": "http://prometheus:9090",
    "access": "proxy",
    "isDefault": true
  }'

# 출력 예시:
# {"datasource":{"id":1,"name":"Prometheus",...},"id":1,"message":"Datasource added"}

# 데이터소스 연결 상태 API 확인
curl -s -u admin:monitoring123 \
  http://localhost:3000/api/datasources/1/health | python3 -m json.tool
# {
#   "message": "Successfully queried the Prometheus API.",
#   "status": "OK"
# }

# Grafana API로 대시보드 ID 893 import 자동화
curl -X POST \
  -H "Content-Type: application/json" \
  -u admin:monitoring123 \
  http://localhost:3000/api/dashboards/import \
  -d '{
    "gnetId": 893,
    "overwrite": true,
    "inputs": [
      {
        "name": "DS_PROMETHEUS",
        "type": "datasource",
        "pluginId": "prometheus",
        "value": "Prometheus"
      }
    ]
  }'

# 추가 유용한 대시보드 ID
# 1860: Node Exporter Full (호스트 OS 메트릭)
# 11074: Node Exporter for Prometheus (간결 버전)
# 15759: Docker Container & Host Metrics

# 대시보드 목록 확인
curl -s -u admin:monitoring123 \
  "http://localhost:3000/api/search?type=dash-db" | \
  python3 -c "import json,sys; [print(d['title'], d['url']) for d in json.load(sys.stdin)]"

# 쿼리 (Gauge 패널 타입 추천)
(
  container_memory_working_set_bytes{name="load-generator"}
  /
  container_spec_memory_limit_bytes{name="load-generator"}
) * 100

# 패널 설정:
# Unit: Percent (0-100)
# Threshold: 80 (주황), 90 (빨강)

# 쿼리 (Time series 패널 타입)
sum by (name) (
  rate(container_cpu_usage_seconds_total{container!="",name!=""}[5m])
) * 100

# Legend: {{name}}
# Unit: Percent (0-100)

# 수신 (bytes/sec)
sum by (name) (
  rate(container_network_receive_bytes_total{container!=""}[5m])
)

# 송신 (bytes/sec)
sum by (name) (
  rate(container_network_transmit_bytes_total{container!=""}[5m])
)

# 패널 설정:
# Unit: bytes/sec
# 두 쿼리를 같은 패널에 추가 (A: 수신, B: 송신)

# OOM Kill 이벤트 발생률
increase(container_oom_events_total{container!=""}[1h])

# 대시보드 저장
# Grafana UI에서 Save dashboard → 이름: "컨테이너 모니터링" → Save