[Infra Ops] 파일/설정/DB/인증서 롤백 절차와 판단 기준

# 조건 1: 헬스체크 연속 실패
# 배포 후 5분 안에 3회 연속 실패 시 즉시 롤백
for i in 1 2 3; do
  STATUS=$(curl -s -o /dev/null -w "%{http_code}" http://localhost:8080/myapp/health)
  echo "Check $i: HTTP $STATUS"
  sleep 30
done
# → 3회 모두 200이 아니면 롤백

# 조건 2: 에러율 급증
TOTAL=$(grep "$(date +'%d/%b/%Y:%H:%M')" /var/log/nginx/access.log | wc -l)
ERRORS=$(awk '$9 ~ /^5/' /var/log/nginx/access.log \
  | grep "$(date +'%d/%b/%Y:%H:%M')" | wc -l)
# ERRORS/TOTAL > 0.05 (5%) → 롤백

# 조건 3: 핵심 기능 불가
# OOM 발생 → 즉시 롤백
grep -i "OutOfMemoryError" /opt/tomcat/logs/catalina.out | tail -3
# → 있으면 즉시 롤백

[배포 완료]
   │
   ① 이상 감지                     (헬스체크 연속 실패 · 500 에러율 급증 · OOM)
   │
   ② 롤백 결정                     (사전 정의한 Go/No-Go 기준 충족 → 즉시)
   │
   ③ 이전 버전으로 전환             (이미지 태그 되돌림 · 심볼릭 링크 스왑 · 트래픽 전환)
   │    → WAR·설정·DB·인증서를 '세트'로 되돌림
   │
   ④ 상태 검증                     (헬스 200 · 에러율 정상 · 핵심 기능 동작)
   │
   ⑤ 원인 분석 / 포스트모템         (감지·롤백·복구 시각 기록 → 재발 방지)
   ▼
[이전 안정 버전으로 서비스 복구]

# 롤백 전 현재 상태 기록
echo "롤백 시작: $(date)" >> /opt/backup/rollback_log.txt
systemctl status tomcat >> /opt/backup/rollback_log.txt

# 1. Tomcat 중지
sudo systemctl stop tomcat

# Tomcat이 완전히 멈췄는지 확인
sleep 3
ps aux | grep tomcat | grep -v grep
# → 아무것도 안 나오면 완전 중지

# 2. 현재(실패한) WAR 삭제 — 경로와 백업 체크섬을 먼저 확인하고 승인 후 실행
test "$(readlink -f /opt/tomcat/webapps/myapp.war)" = "/opt/tomcat/webapps/myapp.war"
sudo rm -f -- /opt/tomcat/webapps/myapp.war
# 폭발 디렉터리는 별도 검토 후에만 삭제합니다(경로를 와일드카드로 확장하지 않음).
# sudo rm -rf -- /opt/tomcat/webapps/myapp

# 3. 백업 WAR 복사
BACKUP_WAR="/opt/backup/20260530_2200/myapp_current.war"
sudo cp $BACKUP_WAR /opt/tomcat/webapps/myapp.war

# 복사 확인
ls -lh /opt/tomcat/webapps/myapp.war

# 4. Tomcat 시작
sudo systemctl start tomcat

# 5. 기동 로그 확인 (에러 없는지 30초 관찰)
sudo tail -f /opt/tomcat/logs/catalina.out

# 현재 설정 파일 백업 (롤백 전 현재 상태 보존)
sudo cp /etc/nginx/conf.d/myapp.conf \
  /etc/nginx/conf.d/myapp.conf.failed_$(date +%Y%m%d_%H%M)

# 이전 설정 파일 복원
BACKUP_CONF="/opt/backup/20260530_2200/myapp.conf"
sudo cp $BACKUP_CONF /etc/nginx/conf.d/myapp.conf

# 설정 검증 (반드시 먼저)
sudo nginx -t
# 출력 예시:
# nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
# nginx: configuration file /etc/nginx/nginx.conf test is successful

# 검증 통과 후 무중단 reload
sudo systemctl reload nginx

# 롤백 후 확인
curl -s -o /dev/null -w "HTTP %{http_code}\n" http://localhost

-- 배포 SQL (예시)
ALTER TABLE users ADD COLUMN last_login TIMESTAMP;
CREATE INDEX idx_users_last_login ON users(last_login);

-- UNDO SQL (미리 작성해둬야 함)
DROP INDEX idx_users_last_login ON users;
ALTER TABLE users DROP COLUMN last_login;

# UNDO SQL 실행
mysql -u dbuser -p myapp_db < /opt/backup/undo_v1.2.0.sql

BEGIN;
  ALTER TABLE orders ADD COLUMN discount_rate DECIMAL(5,2);
  UPDATE orders SET discount_rate = 0;
  -- 여기서 오류 발생 시 → ROLLBACK
ROLLBACK;  -- 모든 변경 취소
-- 또는
COMMIT;    -- 정상이면 커밋

# mysqldump 백업 복원 (예시)
mysql -u root -p myapp_db < /opt/backup/myapp_db_20260530_2100.sql

# 백업 인증서 위치 확인
ls -la /opt/backup/20260530_2200/ssl/
# → server.crt, server.key, server_chain.crt 확인

# 현재 인증서 백업 (롤백 실패 대비)
sudo cp /etc/nginx/ssl/server.crt /etc/nginx/ssl/server.crt.failed
sudo cp /etc/nginx/ssl/server.key /etc/nginx/ssl/server.key.failed

# 이전 인증서 복원
sudo cp /opt/backup/20260530_2200/ssl/server.crt /etc/nginx/ssl/
sudo cp /opt/backup/20260530_2200/ssl/server.key /etc/nginx/ssl/
sudo cp /opt/backup/20260530_2200/ssl/server_chain.crt /etc/nginx/ssl/

# 인증서 유효성 확인
sudo openssl x509 -noout -dates -in /etc/nginx/ssl/server.crt
# 출력 예시:
# notBefore=Jan  1 00:00:00 2026 GMT
# notAfter=Dec 31 23:59:59 2026 GMT

# Nginx 설정 검증
sudo nginx -t

# 검증 통과 후 재시작 (인증서는 reload로도 반영됨)
sudo systemctl reload nginx

# HTTPS 접속 확인
curl -sk https://localhost -o /dev/null -w "HTTP %{http_code}\n"

# JKS 파일 복원
sudo cp /opt/backup/20260530_2200/keystore.jks /opt/tomcat/conf/keystore.jks

# Tomcat 재시작 (인증서 변경은 Tomcat 재시작 필요)
sudo systemctl restart tomcat