apiVersion: apps/v1
kind: Deployment
metadata:
  name: ml-inference
spec:
  replicas: 2
  selector:
    matchLabels:
      app: ml-inference
  template:
    metadata:
      labels:
        app: ml-inference
    spec:
      affinity:
        nodeAffinity:
          # 필수 조건: GPU 노드에만 배치 (충족 못하면 Pending)
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: accelerator
                    operator: In
                    values:
                      - nvidia-gpu
                      - amd-gpu
                  - key: kubernetes.io/arch
                    operator: In
                    values:
                      - amd64
          # 선호 조건: us-east-1a를 선호하지만 없어도 됨 (weight로 우선순위 조정)
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 80
              preference:
                matchExpressions:
                  - key: topology.kubernetes.io/zone
                    operator: In
                    values:
                      - ap-northeast-2a
            - weight: 20
              preference:
                matchExpressions:
                  - key: node-type
                    operator: In
                    values:
                      - high-memory
      containers:
        - name: inference-server
          image: ml-team/inference:v2.3
          resources:
            limits:
              nvidia.com/gpu: 1
              memory: "16Gi"
            requests:
              nvidia.com/gpu: 1
              memory: "12Gi"

# 노드에 GPU 레이블 추가 (EKS에서 GPU 노드 그룹 생성 시 자동 추가됨)
kubectl label node gpu-node-1 accelerator=nvidia-gpu

# 배포 및 배치 확인
kubectl apply -f ml-inference.yaml
kubectl get pods -l app=ml-inference -o wide
# NAME              NODE          STATUS
# ml-inference-aaa  gpu-node-1   Running
# ml-inference-bbb  gpu-node-2   Running

# GPU 노드에 Taint 추가
kubectl taint node gpu-node-1 dedicated=gpu:NoSchedule
kubectl taint node gpu-node-2 dedicated=gpu:NoSchedule

# Taint 확인
kubectl describe node gpu-node-1 | grep -A 3 "Taints:"
# Taints:  dedicated=gpu:NoSchedule

# 일반 파드 배포 시도 (Toleration 없음)
kubectl run ordinary-pod --image=nginx
kubectl get pod ordinary-pod -o wide
# NAME          NODE    STATUS
# ordinary-pod  <none>  Pending   ← gpu-node에 배치 불가, 다른 노드에 배치됨

# GPU 파드 — Taint를 Tolerate하는 파드
apiVersion: v1
kind: Pod
metadata:
  name: gpu-job
spec:
  tolerations:
    # Taint key=dedicated, value=gpu, effect=NoSchedule을 허용
    - key: "dedicated"
      operator: "Equal"
      value: "gpu"
      effect: "NoSchedule"
  affinity:
    nodeAffinity:
      # Toleration으로 들어갈 수는 있지만, 반드시 GPU 노드로 가도록 Affinity도 설정
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
          - matchExpressions:
              - key: dedicated
                operator: In
                values:
                  - gpu
  containers:
    - name: cuda-workload
      image: nvidia/cuda:12.0-base
      resources:
        limits:
          nvidia.com/gpu: 1

kubectl apply -f gpu-job.yaml
kubectl get pod gpu-job -o wide
# NAME      NODE          STATUS
# gpu-job   gpu-node-1   Running   ← GPU 노드에 정상 배치

# NoSchedule: 새 파드 스케줄 차단 (기존 파드 영향 없음)
kubectl taint node node-1 maintenance=true:NoSchedule

# PreferNoSchedule: 가능하면 배치 안 함 (다른 노드 없으면 배치)
kubectl taint node node-1 disk-pressure=high:PreferNoSchedule

# NoExecute: 새 파드 차단 + 기존 파드도 Toleration 없으면 퇴출
kubectl taint node node-1 maintenance=true:NoExecute

# Taint 제거
kubectl taint node node-1 maintenance=true:NoSchedule-   # 끝에 - 붙이면 제거

# NoExecute Taint를 일정 시간 허용하는 Toleration
spec:
  tolerations:
    - key: "node.kubernetes.io/not-ready"
      operator: "Exists"
      effect: "NoExecute"
      tolerationSeconds: 300   # 노드 not-ready 상태를 5분간 허용 후 퇴출