# 실습 디렉토리 준비
mkdir -p /tmp/linux/part6/exam_33/{prometheus,grafana,exporters}
cd /tmp/linux/part6/exam_33

# Prometheus 기본 설정
cat > prometheus/prometheus.yml << 'EOF'
global:
  scrape_interval: 15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets: []

rule_files: []

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

  - job_name: 'docker'
    static_configs:
      - targets: ['localhost:9323']
EOF
echo "설정 파일 생성 완료"

# --no-create-home: 홈 디렉토리 생성 안 함
# --shell /bin/false: 로그인 쉘 없음 (로그인 불가)
sudo useradd --no-create-home --shell /bin/false node_exporter

# Prometheus 공식 GitHub에서 최신 버전 번호 확인
# 2024년 기준 최신 안정 버전: 1.8.2
NODE_EXPORTER_VERSION="1.8.2"
ARCH="linux-amd64"  # ARM 서버라면 linux-arm64

# 공식 GitHub 릴리즈에서 다운로드
wget https://github.com/prometheus/node_exporter/releases/download/v${NODE_EXPORTER_VERSION}/node_exporter-${NODE_EXPORTER_VERSION}.${ARCH}.tar.gz

# 파일 무결성 확인 (sha256sum 파일도 함께 다운로드)
wget https://github.com/prometheus/node_exporter/releases/download/v${NODE_EXPORTER_VERSION}/sha256sums.txt
sha256sum --check --ignore-missing sha256sums.txt

# 압축 해제
tar xzf node_exporter-${NODE_EXPORTER_VERSION}.${ARCH}.tar.gz

# 바이너리를 시스템 PATH로 이동
sudo mv node_exporter-${NODE_EXPORTER_VERSION}.${ARCH}/node_exporter /usr/local/bin/

# 소유권 변경: node_exporter 사용자만 실행 가능
sudo chown node_exporter:node_exporter /usr/local/bin/node_exporter

# 다운로드 파일 정리
rm -rf node_exporter-${NODE_EXPORTER_VERSION}.${ARCH}*

# 설치 확인
node_exporter --version

node_exporter, version 1.8.2 (branch: HEAD, ...)

# Node Exporter 기본 포트인 9100번으로 메트릭 엔드포인트 수동 크롤링
$ curl -s http://localhost:9100/metrics | head -n 15

sudo tee /etc/systemd/system/node_exporter.service > /dev/null << 'EOF'
[Unit]
Description=Node Exporter - Prometheus 리눅스 시스템 메트릭 수집기
Documentation=https://prometheus.io/docs/guides/node-exporter/
After=network-online.target
Wants=network-online.target

[Service]
# 전용 사용자로 실행 (루트 권한 없음)
User=node_exporter
Group=node_exporter
Type=simple

# ExecStart: 실행할 바이너리와 옵션
# --collector.disable-defaults: 필요한 컬렉터만 활성화하려면 사용
# 기본 설정으로는 모든 컬렉터가 활성화됨
ExecStart=/usr/local/bin/node_exporter \
    --web.listen-address=":9100" \
    --collector.filesystem.mount-points-exclude='^/(sys|proc|dev|host|etc)($$|/)' \
    --collector.netclass.ignored-devices='^(veth.*|docker.*|br-.*)$$'

# 서비스가 실패하면 5초 후 재시작
Restart=on-failure
RestartSec=5s

# 보안 강화: 파일시스템 쓰기 불가 (읽기 전용)
ProtectSystem=strict
# /proc, /sys 읽기 허용 (메트릭 수집에 필요)
ReadOnlyPaths=/proc /sys

# 메모리 제한 (선택 사항)
MemoryMax=128M

[Install]
WantedBy=multi-user.target
EOF

# systemd 데몬 리로드 (새 유닛 파일 인식)
sudo systemctl daemon-reload

# 부팅 시 자동 시작 활성화
sudo systemctl enable node_exporter

# 서비스 시작
sudo systemctl start node_exporter

# 상태 확인
sudo systemctl status node_exporter

● node_exporter.service - Node Exporter - Prometheus 리눅스 시스템 메트릭 수집기
     Loaded: loaded (/etc/systemd/system/node_exporter.service; enabled; ...)
     Active: active (running) since Thu 2026-03-26 09:00:00 KST; 3s ago
   Main PID: 12345 (node_exporter)
      Tasks: 4 (limit: 4096)
     Memory: 12.1M

# 로컬에서 메트릭 엔드포인트 접근
curl -s http://localhost:9100/metrics | head -50

# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 4.9351e-05
...
# HELP node_cpu_seconds_total Seconds the CPUs spent in each mode.
# TYPE node_cpu_seconds_total counter
node_cpu_seconds_total{cpu="0",mode="idle"} 12345.67
node_cpu_seconds_total{cpu="0",mode="iowait"} 23.45
node_cpu_seconds_total{cpu="0",mode="irq"} 0
node_cpu_seconds_total{cpu="0",mode="nice"} 0.12
node_cpu_seconds_total{cpu="0",mode="softirq"} 45.67
node_cpu_seconds_total{cpu="0",mode="steal"} 0
node_cpu_seconds_total{cpu="0",mode="system"} 234.56
node_cpu_seconds_total{cpu="0",mode="user"} 1234.56

# 메모리 관련 메트릭만 확인
curl -s http://localhost:9100/metrics | grep "^node_memory"

# 현재 사용 가능한 메모리 (바이트)
curl -s http://localhost:9100/metrics | grep "node_memory_MemAvailable_bytes"

# 디스크 가용 공간
curl -s http://localhost:9100/metrics | grep "node_filesystem_avail_bytes"

PROMETHEUS_VERSION="2.51.0"
ARCH="linux-amd64"

# 전용 사용자 생성
sudo useradd --no-create-home --shell /bin/false prometheus

# 디렉토리 생성
sudo mkdir -p /etc/prometheus /var/lib/prometheus

# 다운로드
wget https://github.com/prometheus/prometheus/releases/download/v${PROMETHEUS_VERSION}/prometheus-${PROMETHEUS_VERSION}.${ARCH}.tar.gz

# 압축 해제
tar xzf prometheus-${PROMETHEUS_VERSION}.${ARCH}.tar.gz
cd prometheus-${PROMETHEUS_VERSION}.${ARCH}

# 바이너리 설치
sudo mv prometheus promtool /usr/local/bin/

# 기본 설정 파일 및 콘솔 파일 복사
sudo mv prometheus.yml /etc/prometheus/
sudo mv consoles/ console_libraries/ /etc/prometheus/

# 소유권 설정
sudo chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus
sudo chown prometheus:prometheus /usr/local/bin/prometheus /usr/local/bin/promtool

# 정리
cd .. && rm -rf prometheus-${PROMETHEUS_VERSION}.${ARCH}*

# 설치 확인
prometheus --version

sudo tee /etc/prometheus/prometheus.yml > /dev/null << 'EOF'
# 전역 설정: 모든 job에 적용되는 기본값
global:
  # 기본 스크래프 주기: 15초마다 메트릭 수집
  scrape_interval: 15s
  # 알람 규칙 평가 주기
  evaluation_interval: 15s
  # 스크래프 타임아웃: 이 시간 내에 응답 없으면 실패 처리
  scrape_timeout: 10s

# Alertmanager 연결 설정 (나중에 설치 후 활성화)
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# 알람 규칙 파일 경로
rule_files:
  - "/etc/prometheus/rules/*.yml"

# 스크래프 설정: 어떤 대상에서 메트릭을 수집할지
scrape_configs:
  # Prometheus 자체 메트릭 수집
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]
    # 라벨 추가: 이 job의 모든 메트릭에 environment="production" 라벨 추가
    relabel_configs: []

  # Node Exporter: 리눅스 시스템 메트릭
  - job_name: "node_exporter"
    # 이 job에만 적용되는 스크래프 주기 (전역 설정을 오버라이드)
    scrape_interval: 10s
    static_configs:
      # 같은 서버의 Node Exporter
      - targets: ["localhost:9100"]
        # 이 타깃에만 적용되는 커스텀 라벨
        labels:
          instance: "web-server-01"
          environment: "production"
          datacenter: "seoul-dc1"

      # 여러 서버를 모니터링할 경우 추가
      # - targets: ["192.168.1.10:9100"]
      #   labels:
      #     instance: "db-server-01"
      #     environment: "production"

  # 향후 추가 가능한 job 예시
  # - job_name: "mysql_exporter"
  #   static_configs:
  #     - targets: ["localhost:9104"]
EOF

# promtool로 문법 검사
promtool check config /etc/prometheus/prometheus.yml

Checking /etc/prometheus/prometheus.yml
  SUCCESS: /etc/prometheus/prometheus.yml is valid prometheus config file syntax

sudo tee /etc/systemd/system/prometheus.service > /dev/null << 'EOF'
[Unit]
Description=Prometheus - 오픈소스 시계열 모니터링 시스템
Documentation=https://prometheus.io/docs/introduction/overview/
After=network-online.target
Wants=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple

ExecStart=/usr/local/bin/prometheus \
    --config.file=/etc/prometheus/prometheus.yml \
    --storage.tsdb.path=/var/lib/prometheus \
    --storage.tsdb.retention.time=30d \
    --web.listen-address=":9090" \
    --web.enable-lifecycle \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries

# 설정 파일 변경 시 재시작 없이 리로드 가능 (--web.enable-lifecycle 필요)
ExecReload=/bin/kill -HUP $MAINPID

Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable prometheus
sudo systemctl start prometheus
sudo systemctl status prometheus

# 웹 UI 접근 가능 여부 확인 (텍스트로)
curl -s http://localhost:9090/-/healthy
# 출력: Prometheus Server is Healthy.

# 현재 스크래프 대상 목록 확인 (JSON)
curl -s http://localhost:9090/api/v1/targets | python3 -m json.tool | grep -A5 '"health"'

# CPU별, 모드별 누적 시간 (raw counter)
node_cpu_seconds_total

# 5분간 변화율 (초당 증가량, 0~1 사이 값)
rate(node_cpu_seconds_total[5m])

# idle 모드를 제외한 모든 모드의 변화율 합계 → CPU 사용률
# 1 - (idle 비율) = 사용률
1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))

# 퍼센트로 표현 (0~100)
100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])))

# 현재 사용 가능한 메모리 (바이트)
node_memory_MemAvailable_bytes

# 전체 메모리
node_memory_MemTotal_bytes

# 메모리 사용률 (%)
100 * (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))

# 사용 중인 메모리 (GB 단위로 변환)
(node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / 1024 / 1024 / 1024

# 파일시스템별 가용 공간 (바이트)
node_filesystem_avail_bytes

# 루트 파티션(/)의 가용 공간만 필터링
node_filesystem_avail_bytes{mountpoint="/"}

# 디스크 사용률 (%)
100 * (1 - (
  node_filesystem_avail_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay"}
  /
  node_filesystem_size_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay"}
))

# 디스크 사용률 80% 초과인 파티션만 표시
(100 * (1 - (node_filesystem_avail_bytes / node_filesystem_size_bytes))) > 80

# 인터페이스별 수신 속도 (바이트/초)
rate(node_network_receive_bytes_total[5m])

# eth0 인터페이스만 (Mbps 단위)
rate(node_network_receive_bytes_total{device="eth0"}[5m]) * 8 / 1024 / 1024

# 송수신 합계
(
  rate(node_network_receive_bytes_total{device!~"lo|veth.*|docker.*"}[5m])
  +
  rate(node_network_transmit_bytes_total{device!~"lo|veth.*|docker.*"}[5m])
)

# 현재 방화벽 상태 확인
sudo firewall-cmd --state
sudo firewall-cmd --list-all

# Prometheus 웹 UI 포트 (관리자 IP에서만 접근 허용)
# 관리자 IP 대역이 10.0.0.0/24 라고 가정
sudo firewall-cmd --permanent --add-rich-rule='
  rule family="ipv4"
  source address="10.0.0.0/24"
  port port="9090" protocol="tcp"
  accept'

# Node Exporter는 localhost에서만 접근 (외부 차단)
# 기본적으로 firewalld는 외부 접근을 차단하므로, 로컬호스트 접근은 항상 허용됨
# 추가로 외부에서 9100 접근을 명시적으로 차단하려면:
sudo firewall-cmd --permanent --add-rich-rule='
  rule family="ipv4"
  source address="0.0.0.0/0"
  port port="9100" protocol="tcp"
  reject'

# 설정 적용
sudo firewall-cmd --reload

# 확인
sudo firewall-cmd --list-rich-rules

# [Node Exporter 서버에서 실행]
# Prometheus 서버(192.168.1.5)에서만 9100 포트 접근 허용
sudo firewall-cmd --permanent --add-rich-rule='
  rule family="ipv4"
  source address="192.168.1.5/32"
  port port="9100" protocol="tcp"
  accept'

# 그 외 모든 소스에서 9100 접근 차단
sudo firewall-cmd --permanent --add-rich-rule='
  rule family="ipv4"
  source address="0.0.0.0/0"
  port port="9100" protocol="tcp"
  reject'

sudo firewall-cmd --reload

# [Prometheus 서버에서 실행]
# Grafana 서버(192.168.1.6)에서 9090 접근 허용
sudo firewall-cmd --permanent --add-rich-rule='
  rule family="ipv4"
  source address="192.168.1.6/32"
  port port="9090" protocol="tcp"
  accept'

sudo firewall-cmd --reload

# 허용된 IP에서 접근 테스트
curl -s http://192.168.1.5:9090/-/healthy

# 차단된 포트 접근 테스트 (타임아웃이나 Connection refused 반환해야 함)
# 다른 서버에서:
# curl --connect-timeout 3 http://192.168.1.10:9100/metrics
# curl: (28) Connection timed out after 3001 milliseconds

# Prometheus 접근 허용 (관리자 IP만)
sudo iptables -A INPUT -p tcp --dport 9090 -s 10.0.0.0/24 -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 9090 -j DROP

# Node Exporter는 Prometheus 서버에서만
sudo iptables -A INPUT -p tcp --dport 9100 -s 192.168.1.5 -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 9100 -j DROP

# 영구 저장
sudo service iptables save

# RHEL/CentOS 계열
sudo tee /etc/yum.repos.d/grafana.repo > /dev/null << 'EOF'
[grafana]
name=grafana
baseurl=https://rpm.grafana.com
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://rpm.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF

sudo dnf install -y grafana

# Debian/Ubuntu 계열
# wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
# echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | \
#   sudo tee /etc/apt/sources.list.d/grafana.list
# sudo apt-get update && sudo apt-get install -y grafana

# 서비스 시작
sudo systemctl daemon-reload
sudo systemctl enable grafana-server
sudo systemctl start grafana-server
sudo systemctl status grafana-server

sudo firewall-cmd --permanent --add-port=3000/tcp
sudo firewall-cmd --reload

# Grafana API로 데이터소스 등록
curl -s -X POST \
  -H "Content-Type: application/json" \
  -u admin:새비밀번호 \
  http://localhost:3000/api/datasources \
  -d '{
    "name": "Prometheus",
    "type": "prometheus",
    "url": "http://localhost:9090",
    "access": "proxy",
    "isDefault": true,
    "jsonData": {
      "httpMethod": "POST",
      "timeInterval": "15s"
    }
  }'

# API로 대시보드 임포트
curl -s -X POST \
  -H "Content-Type: application/json" \
  -u admin:새비밀번호 \
  http://localhost:3000/api/dashboards/import \
  -d '{
    "dashboardId": 1860,
    "overwrite": true,
    "inputs": [{
      "name": "DS_PROMETHEUS",
      "type": "datasource",
      "pluginId": "prometheus",
      "value": "Prometheus"
    }],
    "folderId": 0
  }'

ALERTMANAGER_VERSION="0.27.0"
ARCH="linux-amd64"

# 전용 사용자 생성
sudo useradd --no-create-home --shell /bin/false alertmanager

# 다운로드
wget https://github.com/prometheus/alertmanager/releases/download/v${ALERTMANAGER_VERSION}/alertmanager-${ALERTMANAGER_VERSION}.${ARCH}.tar.gz
tar xzf alertmanager-${ALERTMANAGER_VERSION}.${ARCH}.tar.gz
cd alertmanager-${ALERTMANAGER_VERSION}.${ARCH}

# 설치
sudo mv alertmanager amtool /usr/local/bin/
sudo mkdir -p /etc/alertmanager /var/lib/alertmanager
sudo mv alertmanager.yml /etc/alertmanager/

# 소유권
sudo chown -R alertmanager:alertmanager /etc/alertmanager /var/lib/alertmanager
sudo chown alertmanager:alertmanager /usr/local/bin/alertmanager /usr/local/bin/amtool

cd .. && rm -rf alertmanager-${ALERTMANAGER_VERSION}.${ARCH}*

sudo tee /etc/alertmanager/alertmanager.yml > /dev/null << 'EOF'
global:
  # SMTP 서버 설정 (Gmail 예시)
  smtp_smarthost: 'smtp.gmail.com:587'
  smtp_from: '모니터링계정@gmail.com'
  smtp_auth_username: '모니터링계정@gmail.com'
  smtp_auth_password: 'Gmail앱비밀번호'
  smtp_require_tls: true

# 알람 라우팅 규칙
route:
  # 기본 수신자
  receiver: 'team-email'
  # 같은 알람은 5분간 그룹핑 후 한 번에 전송
  group_wait: 30s
  group_interval: 5m
  # 같은 알람이 반복될 경우 4시간마다 재전송
  repeat_interval: 4h

  # 심각도에 따른 라우팅 예시
  routes:
    - match:
        severity: critical
      receiver: 'team-pagerduty'
      continue: true

# 수신자 정의
receivers:
  - name: 'team-email'
    email_configs:
      - to: '담당자@회사.com'
        subject: '[알람] {{ .GroupLabels.alertname }} - {{ .Status }}'
        send_resolved: true  # 알람 해소 시에도 이메일 전송

  # PagerDuty (선택 사항)
  # - name: 'team-pagerduty'
  #   pagerduty_configs:
  #     - routing_key: 'YOUR_PAGERDUTY_KEY'
EOF

# 규칙 파일 디렉토리 생성
sudo mkdir -p /etc/prometheus/rules
sudo chown prometheus:prometheus /etc/prometheus/rules

sudo tee /etc/prometheus/rules/node-alerts.yml > /dev/null << 'EOF'
groups:
  - name: node_filesystem_alerts
    # 이 그룹의 규칙은 1분마다 평가
    interval: 1m
    rules:
      # 디스크 사용률 80% 경고
      - alert: DiskSpaceWarning
        # 조건: tmpfs, overlay 등 가상 파일시스템 제외하고
        # 디스크 사용률이 80% 초과하면 발화
        expr: |
          (
            100 * (1 - (
              node_filesystem_avail_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay|devtmpfs"}
              /
              node_filesystem_size_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay|devtmpfs"}
            ))
          ) > 80
        # for: 이 조건이 5분 동안 지속되어야 알람 발화 (일시적 스파이크 무시)
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "디스크 공간 부족 경고 ({{ $labels.instance }})"
          description: |
            {{ $labels.instance }}의 {{ $labels.mountpoint }} 파티션
            사용률이 {{ $value | printf "%.1f" }}% 입니다.
            현재 남은 공간: {{ with query (printf "node_filesystem_avail_bytes{instance='%s',mountpoint='%s'}" $labels.instance $labels.mountpoint) }}{{ . | first | value | humanize1024 }}B{{ end }}

      # 디스크 사용률 90% 위험
      - alert: DiskSpaceCritical
        expr: |
          (
            100 * (1 - (
              node_filesystem_avail_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay|devtmpfs"}
              /
              node_filesystem_size_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay|devtmpfs"}
            ))
          ) > 90
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "디스크 공간 위험 ({{ $labels.instance }})"
          description: "{{ $labels.instance }}의 {{ $labels.mountpoint }} 파티션이 {{ $value | printf \"%.1f\" }}% 사용 중입니다. 즉시 조치 필요!"

      # 4시간 후 디스크가 꽉 찰 것으로 예측될 경우
      - alert: DiskSpaceRunningOut
        expr: |
          predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|fuse.lxcfs|overlay|devtmpfs"}[1h], 4 * 3600) < 0
        for: 30m
        labels:
          severity: warning
        annotations:
          summary: "디스크 공간 4시간 내 소진 예측 ({{ $labels.instance }})"
          description: "{{ $labels.instance }}의 {{ $labels.mountpoint }} 파티션이 현재 추세로는 4시간 내에 꽉 찰 것으로 예측됩니다."

  - name: node_memory_alerts
    rules:
      # 메모리 사용률 90% 이상
      - alert: MemoryHigh
        expr: |
          100 * (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) > 90
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "메모리 사용률 높음 ({{ $labels.instance }})"
          description: "{{ $labels.instance }} 메모리 사용률 {{ $value | printf \"%.1f\" }}%"

  - name: node_cpu_alerts
    rules:
      # CPU 사용률 95% 이상이 10분 지속
      - alert: CPUHighUsage
        expr: |
          100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) > 95
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "CPU 사용률 지속 높음 ({{ $labels.instance }})"
          description: "{{ $labels.instance }} CPU 사용률 {{ $value | printf \"%.1f\" }}%가 10분 이상 지속되고 있습니다."
EOF

# 소유권 설정
sudo chown prometheus:prometheus /etc/prometheus/rules/node-alerts.yml

# 알람 규칙 파일 문법 검증
promtool check rules /etc/prometheus/rules/node-alerts.yml

sudo tee /etc/prometheus/prometheus.yml > /dev/null << 'EOF'
global:
  scrape_interval: 15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets:
          - localhost:9093  # Alertmanager 주소 활성화

rule_files:
  - "/etc/prometheus/rules/*.yml"

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: "node_exporter"
    scrape_interval: 10s
    static_configs:
      - targets: ["localhost:9100"]
        labels:
          instance: "web-server-01"
          environment: "production"
EOF

# 설정 검증
promtool check config /etc/prometheus/prometheus.yml

# Prometheus 설정 리로드 (재시작 없이)
curl -s -X POST http://localhost:9090/-/reload
echo "설정 리로드 완료"

sudo tee /etc/systemd/system/alertmanager.service > /dev/null << 'EOF'
[Unit]
Description=Alertmanager
After=network-online.target

[Service]
User=alertmanager
Group=alertmanager
Type=simple
ExecStart=/usr/local/bin/alertmanager \
    --config.file=/etc/alertmanager/alertmanager.yml \
    --storage.path=/var/lib/alertmanager \
    --web.listen-address=":9093"
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable alertmanager
sudo systemctl start alertmanager

# 알람 상태 확인
curl -s http://localhost:9093/api/v2/alerts | python3 -m json.tool

# amtool로 테스트 알람 발송
amtool alert add \
  alertname="DiskSpaceWarning" \
  instance="web-server-01" \
  mountpoint="/" \
  severity="warning" \
  --annotation=summary="테스트 알람입니다" \
  --alertmanager.url=http://localhost:9093

# 알람 목록 확인
amtool alert --alertmanager.url=http://localhost:9093