ACTIVE INCIDENT
00:00 elapsed
LABLAB-LINUX-04-DISK-RECOVERYSEV-2
/var 파티션 100% 장애 — 원인 분석과 복구
ELAPSED
00:00
PHASE
0 / 7
SLA
45분
🐧 Linux
← 목록
INCIDENT RESPONSE
0 / 8 단계 완료
📚 PREREQUISITES
Labdisk-full-diagnosis
Theorylinux/disk-and-storage
Theorylinux/log-rotation
TRACK
LINUX
SLA
45분
SEV
SEV-2
PHASES
6단계
ENV
local
INCOMING TICKET
“긴급 장애: "API 서버 응답 없음, 로그 쓰기 불가 — df -h 확인 시 /var 파티션 100% 사용률"”
YOUR ROLE
주니어 인프라 엔지니어
IMPACT IF UNRESOLVED
/var 파티션 100% — 파일 쓰기 전면 차단. API 서버 다운, DB 로그 중단. 공간 확보 전까지 모든 서비스 영향
🚨INCIDENT BRIEF
운영 서버에서 알림이 옵니다.
"API 서버가 응답을 안 해요. 로그도 안 써지고 있어요."
ssh로 접속해서 df -h를 쳤더니 /var 파티션이 100%입니다.
파일 쓰기가 막혀 서비스가 죽어있습니다.
원인 경로를 찾고, 안전하게 공간을 확보하고, 재발 방지 설정까지 완료해야 합니다.
⏱ 45분📊 중급🔧 6단계#disk#df#du#find
MISSION
1
디스크 사용량 전체 파악
어느 파티션이, 어느 경로에서 디스크를 꽉 채웠는지 특정한다
2
큰 파일/디렉터리 정밀 탐지
find로 특정 크기 이상 파일을 찾아 목록을 뽑는다
3
로그 파일 안전하게 정리
truncate와 journalctl --vacuum으로 공간을 확보하면서 서비스 중단 없이 유지한다
4
삭제된 파일 핸들 점유 확인
lsof로 삭제됐지만 프로세스가 점유 중인 파일을 찾고 해제한다
5
재발 방지 — logrotate 설정 확인
logrotate 설정을 점검하고 애플리케이션 로그 자동 rotation을 보장한다
6
재발 방지 runbook 작성
디스크 풀 재발 방지를 위한 구체적인 logrotate 가이드라인과 임계치 알림 설정을 정리한다
📌 선수 지식
• [실습] disk-full-diagnosis
• [이론] linux/disk-and-storage
• [이론] linux/log-rotation
ℹ️ 실습 환경
환경: local
필요 도구: bash, df, du, find, lsof, truncate, journalctl, logrotate
검증 스크립트: /labs/lab-linux-04-disk-recovery/scripts/verify.sh
🔒
실습 실행은 Pro 플랜 전용입니다
인시던트 브리프와 학습 자료는 지금 바로 확인할 수 있습니다. 실제 실습 진행 및 터미널 사용은 Pro 플랜에서 가능합니다.
Pro로 업그레이드 →
>_ LAB TERMINAL↔ 너비 조절
NOTES