┌─────────────────────────────────────────────────────┐
│                   Kubernetes 클러스터                 │
│                                                     │
│  Node-1              Node-2              Node-3     │
│  ┌──────────┐        ┌──────────┐        ┌────────┐ │
│  │ Promtail │        │ Promtail │        │Promtail│ │  ← DaemonSet
│  │(DaemonSet│        │(DaemonSet│        │DaemonSet│ │
│  └────┬─────┘        └────┬─────┘        └───┬────┘ │
│       │ /var/log/pods/    │                  │      │
│       └──────────────┬────┘──────────────────┘      │
│                      │ HTTP Push (port 3100)         │
│               ┌──────▼──────┐                       │
│               │    Loki     │  ← StatefulSet         │
│               │  (port 3100)│                       │
│               └──────┬──────┘                       │
│                      │ 쿼리 (LogQL)                 │
│               ┌──────▼──────┐                       │
│               │   Grafana   │  ← Deployment         │
│               │  (port 3000)│                       │
│               └─────────────┘                       │
└─────────────────────────────────────────────────────┘

Promtail: 각 노드의 /var/log/pods/ 에서 로그 파일을 읽어 Loki로 전송
Loki: 로그를 청크 단위로 저장, LogQL 쿼리 처리
Grafana: Loki를 데이터소스로 연결, Explore 탭에서 조회 + 대시보드

# values 파일 생성 — 실습용 단순 설정
cat > loki-values.yaml << 'EOF'
loki:
  auth_enabled: false          # 인증 비활성화 (실습용)
  storage:
    type: filesystem           # 프로덕션에서는 S3/GCS 권장
  commonConfig:
    replication_factor: 1      # 단일 인스턴스 (실습용)
  limits_config:
    retention_period: 7d       # 7일 보관
    ingestion_rate_mb: 16
    ingestion_burst_size_mb: 32

promtail:
  enabled: true
  config:
    clients:
      - url: http://loki-gateway/loki/api/v1/push
    scrape_configs:
      - job_name: kubernetes-pods
        kubernetes_sd_configs:
          - role: pod
        pipeline_stages:
          - cri: {}            # CRI 포맷 파싱 (containerd)
        relabel_configs:
          - source_labels: [__meta_kubernetes_pod_label_app]
            target_label: app
          - source_labels: [__meta_kubernetes_namespace]
            target_label: namespace
          - source_labels: [__meta_kubernetes_pod_name]
            target_label: pod
          - source_labels: [__meta_kubernetes_container_name]
            target_label: container

grafana:
  enabled: true
  sidecar:
    datasources:
      enabled: true
  additionalDataSources:
    - name: Loki
      type: loki
      url: http://loki-gateway:80
      access: proxy
      isDefault: false
EOF

# Loki Stack 설치
helm install loki grafana/loki-stack \
  --namespace monitoring \
  --values loki-values.yaml

# 배포 상태 확인
kubectl get pods -n monitoring -l app.kubernetes.io/instance=loki

# 예상 출력:
NAME                           READY   STATUS    RESTARTS   AGE
loki-0                         1/1     Running   0          2m
loki-promtail-4k9dx            1/1     Running   0          2m   ← Node-1
loki-promtail-7rmnx            1/1     Running   0          2m   ← Node-2
loki-promtail-9vzph            1/1     Running   0          2m   ← Node-3
loki-grafana-6d8f4b5c7-xm2nk   1/1     Running   0          2m

# Promtail DaemonSet 상세 확인
kubectl describe daemonset loki-promtail -n monitoring

# hostPath 마운트 확인 — 로그 파일 접근 경로
kubectl get daemonset loki-promtail -n monitoring -o yaml | \
  grep -A5 "hostPath"

# Promtail Pod spec 핵심 부분
volumes:
  - name: containers           # 컨테이너 로그 경로
    hostPath:
      path: /var/lib/docker/containers
  - name: pods                 # Pod 로그 경로 (kubelet 관리)
    hostPath:
      path: /var/log/pods
volumeMounts:
  - name: pods
    mountPath: /var/log/pods
    readOnly: true             # 읽기 전용 (보안)
  - name: containers
    mountPath: /var/lib/docker/containers
    readOnly: true

# 기본 레이블 셀렉터 — app=nginx 레이블의 모든 로그
{app="nginx"}

# 네임스페이스 + 앱 조합
{namespace="production", app="payment"}

# 라인 필터: ERROR 포함 라인만
{namespace="production"} |= "ERROR"

# 라인 필터: 특정 문자열 제외
{app="nginx"} != "health-check"

# 정규식 필터
{app="api-server"} |~ "timeout|connection refused"

# JSON 파싱 후 특정 필드 필터
{app="payment"} | json | status_code=500

# 파이프라인 체이닝
{namespace="production", app="payment"}
  |= "ERROR"
  | json
  | line_format "{{.level}} [{{.request_id}}] {{.message}}"

# 분당 에러 로그 수 (rate)
rate({app="payment"} |= "ERROR" [5m])

# 네임스페이스별 로그 수신 속도
sum(rate({namespace=~".+"}[5m])) by (namespace)

# HTTP 500 에러 비율 계산
sum(rate({app="nginx"} |= "HTTP/1.1 5" [5m])) /
sum(rate({app="nginx"} [5m]))

# 특정 패턴 카운트
count_over_time({app="order-service"} |= "payment_failed" [1h])

# Grafana 포트포워딩
kubectl port-forward svc/loki-grafana -n monitoring 3000:80

# 기본 admin 패스워드 확인
kubectl get secret loki-grafana -n monitoring \
  -o jsonpath='{.data.admin-password}' | base64 -d

# 실습 1: 최근 1시간 production 네임스페이스 에러 로그
{namespace="production"} |= "ERROR" | limit 100

# 실습 2: 특정 파드 로그 실시간 tail
{pod=~"payment-.*"} | limit 50

# 실습 3: 분당 에러 수 그래프
rate({namespace="production"} |= "ERROR" [5m])

// 패널 1: 네임스페이스별 에러 로그 수 (시계열)
{
  "title": "Error Rate by Namespace",
  "type": "timeseries",
  "targets": [{
    "expr": "sum(rate({namespace=~\".+\"} |= \"ERROR\" [5m])) by (namespace)",
    "legendFormat": "{{namespace}}"
  }]
}

// 패널 2: 최근 에러 로그 (Logs 패널)
{
  "title": "Recent Errors",
  "type": "logs",
  "targets": [{
    "expr": "{namespace=\"production\"} |= \"ERROR\" | limit 200",
    "legendFormat": ""
  }]
}

// 패널 3: 로그 볼륨 (스택 바)
{
  "title": "Log Volume",
  "type": "barchart",
  "targets": [{
    "expr": "sum(count_over_time({namespace=~\".+\"} [1h])) by (app)",
    "legendFormat": "{{app}}"
  }]
}

# Grafana Alert Rule — 1분간 에러 로그 10개 초과 시 알림
apiVersion: 1
groups:
  - orgId: 1
    name: loki-alerts
    folder: Kubernetes
    interval: 1m
    rules:
      - uid: loki-error-alert
        title: "High Error Rate"
        condition: C
        data:
          - refId: A
            queryType: range
            relativeTimeRange:
              from: 300
              to: 0
            model:
              expr: 'sum(count_over_time({namespace="production"} |= "ERROR" [1m]))'
          - refId: C
            type: classic_conditions
            model:
              conditions:
                - type: query
                  evaluator:
                    type: gt
                    params: [10]