[Infra Ops] Cron/Quartz 장애 분석과 배치 재처리 실무

# 매일 새벽 2시 정각
0 2 * * * /opt/batch/run-daily.sh

# 매 30분마다
*/30 * * * * /opt/batch/check-status.sh

# 매 2시간 정각
0 */2 * * * /opt/batch/sync-data.sh

# 평일(월-금) 오전 9시
0 9 * * 1-5 /opt/batch/business-report.sh

# 매월 1일 새벽 3시
0 3 1 * * /opt/batch/monthly-settle.sh

# 매일 자정, 새벽 6시, 정오, 오후 6시
0 0,6,12,18 * * * /opt/batch/refresh-cache.sh

# crontab 관리 명령어
crontab -l               # 현재 사용자의 crontab 목록
crontab -e               # crontab 편집 (기본 에디터)
crontab -l -u appuser    # 특정 사용자의 crontab 확인 (root 권한)
sudo crontab -l -u root  # root 사용자 crontab

# cron 실행 로그 확인
grep "CRON" /var/log/syslog | tail -20          # Ubuntu/Debian
grep "CRON" /var/log/cron | tail -20            # RHEL/CentOS
journalctl -u cron --since "today" --no-pager  # systemd 환경

# 특정 스크립트 실행 기록
grep "run-daily.sh" /var/log/syslog | tail -10

[스케줄 등록: 0 2 * * *]
   │
   ① 시각 도래 감지               (cron 데몬/Quartz가 매분 벽시계와 대조 · 타임존 기준)
   │
   ② 작업 트리거                  (도래한 잡의 명령/Job 발화 · 밀린 건 misfire로)
   │
   ③ 선행 조건 · 중복 실행 방지    (이전 실행 종료 확인 · DB Lock으로 단일 노드만 실행)
   │
   ④ 실행 · 자원 사용             (프로세스 기동 → CPU/메모리/DB 커넥션 점유)
   │
   ⑤ 완료 / 실패 처리             (exit code 판정 · 재시도 · misfire 정책 처리)
   │
   ⑥ 결과 기록 · 알림             (로그·실행 이력 DB · 실패 시 메일/슬랙)
   ▼
[다음 예정 시각까지 대기]

// CronTrigger에서 misfire 정책 설정 예시
CronTrigger trigger = TriggerBuilder.newTrigger()
    .withIdentity("dailyJob", "batch")
    .withSchedule(CronScheduleBuilder
        .cronSchedule("0 2 * * * ?")
        // misfire 정책 선택
        .withMisfireHandlingInstructionFireAndProceed()  // 즉시 한 번 실행
        // .withMisfireHandlingInstructionDoNothing()    // 스킵 (다음 스케줄 대기)
        // .withMisfireHandlingInstructionIgnoreMisfires() // 밀린 모든 실행
    )
    .build();

# Spring Boot + Quartz Cluster 설정 예시
spring:
  quartz:
    job-store-type: jdbc
    properties:
      org.quartz.scheduler.instanceId: AUTO
      org.quartz.jobStore.isClustered: true
      org.quartz.jobStore.clusterCheckinInterval: 20000
      org.quartz.jobStore.misfireThreshold: 60000

-- QRTZ_LOCKS 테이블에서 현재 Lock 상태 확인 (MySQL)
SELECT * FROM QRTZ_LOCKS;

-- QRTZ_SCHEDULER_STATE로 클러스터 노드 상태 확인
SELECT SCHED_NAME, INSTANCE_NAME, LAST_CHECKIN_TIME, CHECKIN_INTERVAL
FROM QRTZ_SCHEDULER_STATE;

-- 오래된 노드 확인 (LAST_CHECKIN_TIME이 오래된 경우 죽은 노드)
SELECT *, FROM_UNIXTIME(LAST_CHECKIN_TIME/1000) AS last_seen
FROM QRTZ_SCHEDULER_STATE
ORDER BY LAST_CHECKIN_TIME ASC;

-- 죽은 노드의 Lock 수동 해제 (신중하게)
DELETE FROM QRTZ_FIRED_TRIGGERS WHERE SCHED_NAME='scheduler' AND INSTANCE_NAME='dead-node-id';
DELETE FROM QRTZ_SCHEDULER_STATE WHERE SCHED_NAME='scheduler' AND INSTANCE_NAME='dead-node-id';

#!/bin/bash
# /opt/batch/scripts/run-with-alert.sh
# 배치 실행 + 실패 시 알림 통합 스크립트

BATCH_JAR="/opt/batch/batch.jar"
JOB_NAME="dailySettleJob"
TARGET_DATE=$(date +%Y%m%d)
LOG_FILE="/opt/batch/logs/batch_${TARGET_DATE}.log"
SLACK_WEBHOOK="https://hooks.slack.com/services/YOUR/WEBHOOK/URL"

echo "[$(date)] 배치 시작: ${JOB_NAME} / ${TARGET_DATE}" >> "$LOG_FILE"

# 배치 실행
java -jar "$BATCH_JAR" \
  --spring.batch.job.names="$JOB_NAME" \
  targetDate="$TARGET_DATE" \
  run.id="$(date +%s%N)" \
  >> "$LOG_FILE" 2>&1

EXIT_CODE=$?

if [ $EXIT_CODE -eq 0 ]; then
    echo "[$(date)] 배치 성공 (exit code: 0)" >> "$LOG_FILE"
else
    echo "[$(date)] 배치 실패 (exit code: ${EXIT_CODE})" >> "$LOG_FILE"

    # Slack 알림 (curl로 Webhook 호출)
    LAST_ERROR=$(grep -E "ERROR|Exception" "$LOG_FILE" | tail -3 | tr '\n' ' ')
    curl -s -X POST "$SLACK_WEBHOOK" \
      -H "Content-Type: application/json" \
      -d "{
        \"text\": \":rotating_light: 배치 실패 알림\n*Job:* ${JOB_NAME}\n*날짜:* ${TARGET_DATE}\n*Exit Code:* ${EXIT_CODE}\n*마지막 오류:*\n${LAST_ERROR}\"
      }"

    exit 1
fi

# crontab 등록 (run-with-alert.sh 사용)
0 2 * * * /opt/batch/scripts/run-with-alert.sh

-- 최근 7일간 배치 실패 목록
SELECT i.JOB_NAME, e.START_TIME, e.END_TIME,
       e.STATUS, e.EXIT_CODE,
       LEFT(e.EXIT_MESSAGE, 200) AS EXIT_MESSAGE
FROM BATCH_JOB_EXECUTION e
JOIN BATCH_JOB_INSTANCE i ON e.JOB_INSTANCE_ID = i.JOB_INSTANCE_ID
WHERE e.STATUS != 'COMPLETED'
  AND e.START_TIME > DATE_SUB(NOW(), INTERVAL 7 DAY)
ORDER BY e.START_TIME DESC;