[Infra Ops] 작업계획서 작성과 변경관리 체크리스트

작업계획서 필수 항목:

1. 작업명 — 한 줄로 무슨 작업인지 명확히
2. 일시 — 시작/종료 예상 시각 (버퍼 포함)
3. 담당자 — 이름, 이메일, 전화번호 (새벽에도 연락 가능한 번호)
4. 영향 서비스 — 작업 중 어떤 서비스가 어떻게 영향받는지
5. 사전 백업 목록 — 어떤 파일/설정/DB를 백업했는지
6. 작업 절차 — 순서대로 나열한 세부 단계
7. 롤백 기준 — 언제 롤백할지 (Go/No-Go 판단 기준)
8. 롤백 절차 — 롤백 시 실행할 명령어 순서
9. 비상연락처 — 작업자 외 지원 가능한 담당자
10. 완료 검증 방법 — 작업이 성공했음을 어떻게 확인할지

## 작업계획서

작업명: Tomcat WAR 배포 (myapp v1.2.0)
일시: 2026-05-30 22:00 ~ 23:00 (1시간, 버퍼 30분)
담당: 홍길동 (infra@company.com / 010-1234-5678)
검토자: 김팀장 (010-9876-5432)

영향 서비스:
  - myapp 서비스 (Tomcat 재시작 중 약 2분 다운 예상)
  - 사용자 로그인/결제 기능 일시 중단

사전 백업:
  - 현재 WAR 파일: /opt/tomcat/webapps/myapp.war → /opt/backup/myapp_v1.1.0_20260530.war
  - 설정 파일: /opt/tomcat/conf/context.xml → /opt/backup/context.xml_20260530
  - catalina.out 마지막 100줄: /opt/backup/catalina_pre_deploy.log

작업 절차:
  1. [ ] 사전 백업 완료 확인
  2. [ ] Tomcat shutdown (systemctl stop tomcat)
  3. [ ] Tomcat 중지 후 `find /opt/tomcat/webapps -maxdepth 1 -name 'myapp*' -print`로 목록을 검토하고, `readlink -f`가 승인된 `/opt/tomcat/webapps/myapp`와 일치할 때만 정확한 WAR·폭발 디렉터리를 이동/삭제 (운영 승인 필수, glob 삭제 금지)
  4. [ ] 신규 WAR 복사 (cp myapp-v1.2.0.war /opt/tomcat/webapps/myapp.war)
  5. [ ] Tomcat startup (systemctl start tomcat)
  6. [ ] 기동 로그 확인 (tail -f catalina.out)
  7. [ ] 헬스체크 확인 (curl http://localhost:8080/myapp/health)
  8. [ ] 주요 기능 동작 확인 (로그인, 메인 화면)

Go/No-Go 기준:
  - 배포 후 10분 내 헬스체크 URL 200 응답 → GO (완료)
  - 10분 내 500 에러율 5% 초과 → NO-GO (즉시 롤백)
  - catalina.out에 OutOfMemoryError 발생 → NO-GO (즉시 롤백)

롤백 절차:
  1. systemctl stop tomcat
  2. `readlink -f /opt/tomcat/webapps/myapp.war`와 `find /opt/tomcat/webapps -maxdepth 1 -name 'myapp*' -print`로 대상 목록을 확인하고 승인 기록
  3. 백업 체크섬을 확인한 뒤 승인된 정확한 WAR 파일만 이동·교체 (glob 전체 삭제 금지)
     `sha256sum /opt/backup/myapp_v1.1.0_20260530.war`
     `cp -- /opt/backup/myapp_v1.1.0_20260530.war /opt/tomcat/webapps/myapp.war`
  4. systemctl start tomcat
  5. 헬스체크 확인

완료 검증:
  - curl http://localhost:8080/myapp/health → HTTP 200
  - 로그인 시도 → 성공
  - catalina.out에 ERROR 없음

# 1. 현재 서비스 사용자 수 (트래픽 파악)
# 모니터링 시스템 없는 경우 Nginx 로그로 추정
awk '{print $4}' /var/log/nginx/access.log \
  | grep "$(date +'%d/%b/%Y:%H')" \
  | wc -l
# → 현재 시간대 요청 수 확인

# 2. 피크 시간 확인 (요청이 가장 많은 시간대)
awk '{print substr($4,14,2)}' /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn | head -5
# → 어느 시간대에 트래픽이 집중되는지 확인

# 3. 연관 서비스 확인
# 배포하는 서비스를 호출하는 다른 서비스가 있는지
grep "proxy_pass" /etc/nginx/conf.d/*.conf
# → Nginx → Tomcat 프록시 설정 확인

# 백업 디렉터리 생성 (날짜 포함)
BACKUP_DIR="/opt/backup/$(date +%Y%m%d_%H%M)"
mkdir -p $BACKUP_DIR

# WAR 파일 백업
cp /opt/tomcat/webapps/myapp.war $BACKUP_DIR/myapp_current.war

# 설정 파일 백업
cp /opt/tomcat/conf/server.xml $BACKUP_DIR/
cp /opt/tomcat/conf/context.xml $BACKUP_DIR/
cp /etc/nginx/conf.d/myapp.conf $BACKUP_DIR/

# 현재 배포 버전 기록
ls -la /opt/tomcat/webapps/myapp.war >> $BACKUP_DIR/deployment_info.txt
java -version >> $BACKUP_DIR/deployment_info.txt 2>&1
systemctl status tomcat >> $BACKUP_DIR/deployment_info.txt

echo "백업 완료: $BACKUP_DIR"
ls -la $BACKUP_DIR