ACTIVE INCIDENT
00:00 elapsed
LABLAB-LINUX-05-LOG-ANALYSISSEV-2
앱이 갑자기 멈췄다 — Linux 로그 분석 실전
ELAPSED
00:00
PHASE
0 / 5
SLA
40분
🐧 Linux
← 목록
INCIDENT RESPONSE
0 / 6 단계 완료
📚 PREREQUISITES
Theorylinux/systemd-basics
Theorylinux/file-system
TRACK
LINUX
SLA
40분
SEV
SEV-2
PHASES
4단계
ENV
local
INCOMING TICKET
“긴급 장애: "payment-service 5분째 헬스체크 실패 — 프로세스는 살아있고 포트도 열려있지만 모든 요청이 타임아웃"”
YOUR ROLE
주니어 인프라 엔지니어
IMPACT IF UNRESOLVED
결제 서비스 전면 중단 — 로그 없이 원인 파악 불가. journalctl → grep → awk 순서로 장애 타임라인을 재구성해야 한다
🚨INCIDENT BRIEF
새벽 3시, 모니터링 알림이 울렸습니다.
payment-service 응답 없음. 5분째 헬스체크 실패 중.
서버에 접속했더니 프로세스는 살아있습니다. 포트도 열려 있습니다. 그런데 요청은 전부 타임아웃이 납니다.
원인을 찾으려면 로그를 봐야 합니다. systemd가 수집한 저널부터, /var/log 파일, 그리고 에러 패턴 분석까지 — 이 Lab은 실제 장애 대응 순서 그대로 진행됩니다.
마지막에는 이런 일이 재발하지 않도록 로그 로테이션까지 설정합니다.
⏱ 40분📊 중급🔧 4단계#linux#log#journalctl#grep
MISSION
1
journalctl — systemd 서비스 로그 뽑기
journalctl 명령으로 payment-service의 최근 에러 로그를 찾아 장애 시작 시각을 파악한다
2
grep — /var/log에서 에러 패턴 추출
grep 고급 옵션으로 /var/log/payment.log에서 에러 패턴을 추출하고, 어떤 에러가 몇 번이나 반복됐는지 파악한다
3
awk — 로그에서 응답시간 통계 추출
awk로 /var/log/payment.log에서 응답 시간 분포를 분석하고, 1000ms를 초과한 느린 요청이 몇 건인지 파악한다
4
logrotate — 로그가 디스크를 갉아먹지 않도록
/etc/logrotate.d/payment 설정 파일을 작성해 로그 파일이 자동으로 압축·순환되도록 설정하고, 강제 실행으로 동작을 검증한다
📌 선수 지식
• [이론] linux/systemd-basics
• [이론] linux/file-system
ℹ️ 실습 환경
환경: local
필요 도구: systemd, grep, awk, logrotate
검증 스크립트: /labs/lab-linux-05-log-analysis/scripts/verify.sh
🔒
실습 실행은 Pro 플랜 전용입니다
인시던트 브리프와 학습 자료는 지금 바로 확인할 수 있습니다. 실제 실습 진행 및 터미널 사용은 Pro 플랜에서 가능합니다.
Pro로 업그레이드 →
>_ LAB TERMINAL↔ 너비 조절
NOTES