[Infra Ops] HTTP 에러 코드 해석과 장애 원인 추적

[알람·사용자 신고]  "3시경 에러 페이지가 났다"
   │
   ① 증상 시각 특정    언제부터·어느 범위인지 시각과 창(window)을 확정
   │
   ② 시간대 로그 필터   그 창으로 access.log · catalina.out 을 좁힘 (타임존 먼저 맞춤)
   │
   ③ 에러·패턴 검색    상태코드·예외·키워드로 grep · awk · 쿼리
   │
   ④ 요청 추적        correlation ID 로 Nginx → WAS → DB 한 요청의 전 구간 연결
   │
   ⑤ 원인 확정        계층·코드 라인·외부 의존성으로 근본 원인 확정
   ▼
[결론]  "어느 계층의 무엇이 원인" — 가설이 아니라 로그로 확정

# Nginx 에러 로그 확인
sudo tail -20 /var/log/nginx/error.log
# 출력 예시:
# [error] upstream connect() failed (111: Connection refused)
# while connecting to upstream, server: localhost:8080

# Tomcat 상태 확인
sudo systemctl status tomcat
# → 다운 상태라면 기동
sudo systemctl start tomcat

# Tomcat이 실제로 듣는 포트 확인
sudo ss -tlnp | grep java
# 출력: LISTEN  0  128  :::8080  :::*  users:(("java", pid=12345, fd=56))

# Nginx proxy_pass 설정 확인
grep proxy_pass /etc/nginx/conf.d/myapp.conf
# 출력: proxy_pass http://localhost:8090;  ← 포트 불일치!

# 수정 후 reload
sudo vim /etc/nginx/conf.d/myapp.conf
sudo nginx -t && sudo systemctl reload nginx

# log_format에 $upstream_response_time이 포함된 경우
# 응답시간 느린 요청 TOP 10
awk '{print $NF, $7}' /var/log/nginx/access.log | sort -rn | head -10

# 특정 API 경로에서만 느린지 확인
awk '$7 ~ /\/api\/orders/ {print $NF, $7}' /var/log/nginx/access.log \
  | sort -rn | head -10

# 현재 설정 확인
grep client_max_body_size /etc/nginx/conf.d/myapp.conf
# 없으면 기본값 1m

# 설정 추가 (server 블록 또는 location 블록에)
# client_max_body_size 50m;
sudo vim /etc/nginx/conf.d/myapp.conf
sudo nginx -t && sudo systemctl reload nginx

# Nginx 에러 로그
sudo tail -20 /var/log/nginx/error.log
# 출력: [error] open() "/var/www/myapp/uploads/file.pdf" failed
#       (13: Permission denied)

# 파일 소유자 확인
ls -la /var/www/myapp/uploads/
# Nginx 유저 확인
grep '^user' /etc/nginx/nginx.conf

# 권한 수정
sudo chown -R nginx:nginx /var/www/myapp/uploads
sudo chmod 755 /var/www/myapp/uploads

# 최근 Exception 찾기
grep -A 10 "java.lang.NullPointerException" /opt/tomcat/logs/catalina.out \
  | tail -30

# 출력 예시:
# java.lang.NullPointerException
#   at com.myapp.service.OrderService.processOrder(OrderService.java:45)
#   at com.myapp.controller.OrderController.createOrder(OrderController.java:23)

# 어떤 요청이 해당 코드를 호출했는지 Nginx 로그에서 확인
grep "/api/orders" /var/log/nginx/access.log | grep " 500 " | tail -10

# catalina.out에서 커넥션 풀 에러 찾기
grep -i "connection pool\|pool exhausted\|cannot get a connection" \
  /opt/tomcat/logs/catalina.out | tail -10

# 출력 예시 (HikariCP):
# HikariPool-1 - Connection is not available, request timed out after 30000ms
# 또는 (DBCP):
# Cannot get a connection, pool error Timeout waiting for idle object

# 시간대별 분포 확인 (간헐적인지, 특정 시간에 집중되는지)
grep "pool error\|pool exhausted" /opt/tomcat/logs/catalina.out \
  | awk '{print substr($0,1,20)}' | sort | uniq -c | sort -rn

# OOM 발생 여부 확인
grep -i "OutOfMemoryError\|GC overhead limit exceeded" \
  /opt/tomcat/logs/catalina.out

# OOM이 있다면 발생 시각 확인
grep -n "OutOfMemoryError" /opt/tomcat/logs/catalina.out | head -5

# GC 로그가 설정된 경우 확인
ls /opt/tomcat/logs/gc*.log 2>/dev/null
# GC 로그 마지막 부분
tail -50 /opt/tomcat/logs/gc.log

# 어느 포트에서 Connection Refused가 나는지 확인
sudo ss -tlnp | grep 8080
# → 아무것도 안 나오면 Tomcat이 해당 포트에서 안 듣고 있음

# Tomcat 상태 확인
sudo systemctl status tomcat
# → inactive (dead) 상태라면 기동
sudo systemctl start tomcat

# 인증서 만료일 확인
sudo openssl x509 -noout -enddate -in /etc/nginx/ssl/server.crt
# 출력: notAfter=May 30 00:00:00 2026 GMT
# 오늘 날짜 이전이면 만료

# Nginx 에러 로그에서 SSL 에러 확인
grep -i "ssl\|certificate\|handshake" /var/log/nginx/error.log | tail -10

# Let's Encrypt 사용 시 갱신
sudo certbot renew --dry-run  # 테스트
sudo certbot renew            # 실제 갱신
sudo systemctl reload nginx

# access_log 기본 형식 (log_format main):
# $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent
# 필드:  $1       $2    $3         $4           $5~$7      $8        $9

# 500 에러 요청 추출
awk '$9 == "500"' /var/log/nginx/access.log | tail -20

# 에러 코드별 집계
awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn
# 출력 예시:
#  12453  200
#    234  304
#     89  404
#     12  500
#      3  502

# 응답시간 느린 요청 TOP 10 (log_format에 $upstream_response_time 포함 시)
awk '{print $NF, $7}' /var/log/nginx/access.log | sort -rn | head -10

# 특정 시간대 로그 필터링
awk '$4 > "[30/May/2026:14:00" && $4 < "[30/May/2026:15:00"' \
  /var/log/nginx/access.log | head -20

# 특정 URI 패턴의 에러만 추출
awk '$7 ~ /\/api\/payment/ && $9 >= "500"' /var/log/nginx/access.log | tail -10

# IP별 요청 수 TOP 10 (DDoS 탐지, 특정 클라이언트 분석)
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10

# 분당 요청 수 추이 (트래픽 급증 탐지)
awk '{print substr($4, 2, 17)}' /var/log/nginx/access.log \
  | sort | uniq -c

# Exception이 있는 라인과 이후 5줄 함께 출력
grep -A 5 "Exception" /opt/tomcat/logs/catalina.out | tail -50

# 특정 에러 패턴 찾기
grep -i "error\|exception\|failed" /opt/tomcat/logs/catalina.out \
  | grep -v "^#" | tail -30

# OOM 및 GC 문제 확인
grep -i "OutOfMemoryError\|GC overhead\|heap space" \
  /opt/tomcat/logs/catalina.out

# DB 커넥션 관련 에러
grep -i "connection\|pool\|datasource\|jdbc" \
  /opt/tomcat/logs/catalina.out | grep -i "error\|fail\|timeout" | tail -10

# 기동 시간 확인 (배포 후 얼마나 걸려 떴는지)
grep "Server startup in" /opt/tomcat/logs/catalina.out | tail -3

# 특정 시간대 로그 (시간 범위가 짧으면 grep으로 충분)
grep "30-May-2026 14:" /opt/tomcat/logs/catalina.out | head -20