[Infra Ops] 프로세스(ps), 포트(netstat), 리소스(top) 모니터링 실무

# 전체 프로세스 목록 (자주 쓰는 형식)
ps aux
# USER    PID  %CPU %MEM    VSZ   RSS TTY  STAT START  TIME COMMAND
# tomcat  1234  2.5  8.3 3145728 340000 ?  Sl  09:00  2:15 java -Xmx2g ...
# nginx   5678  0.0  0.1   12345   4096 ?  Ss  09:00  0:00 nginx: master

# ps -ef 형식 (PPID 포함, 프로세스 계층 파악에 유용)
ps -ef | grep tomcat

# 특정 프로세스만 필터링
ps aux | grep nginx | grep -v grep

# 프로세스 이름으로 PID만 추출
pgrep -f tomcat
# 또는
pidof nginx

# CPU 사용률 TOP 10
ps aux --sort=-%cpu | head -11

# 메모리 사용률 TOP 10
ps aux --sort=-%mem | head -11

top
# top - 14:30:00 up 2 days, 3:15,  2 users,  load average: 0.52, 0.48, 0.45
# Tasks: 185 total,   1 running, 184 sleeping,   0 stopped,   0 zombie
# %Cpu(s):  5.2 us,  1.1 sy,  0.0 ni, 93.5 id,  0.1 wa,  0.0 hi,  0.0 si
# MiB Mem :  7821.4 total,  2341.2 free,  3621.8 used,  1858.4 buff/cache
# MiB Swap:  2048.0 total,  2048.0 free,     0.0 used.  3819.4 avail Mem

q: 종료
k: 프로세스 종료 (PID 입력)
M: 메모리 사용률 기준 정렬
P: CPU 사용률 기준 정렬 (기본)
1: 코어별 CPU 사용률 표시

# 리스닝 중인 TCP 포트 전체 + 프로세스 정보
ss -tlnp
# State   Recv-Q  Send-Q  Local Address:Port  Peer Address:Port  Process
# LISTEN  0       128     0.0.0.0:80         0.0.0.0:*          users:(("nginx",pid=1234,fd=6))
# LISTEN  0       511     0.0.0.0:8080       0.0.0.0:*          users:(("java",pid=5678,fd=32))
# LISTEN  0       128     127.0.0.1:3306     0.0.0.0:*          users:(("mysqld",pid=9012,fd=25))

# UDP 포트 포함
ss -ulnp

# 특정 포트에 무엇이 연결됐는지
ss -tnp | grep ':8080'

# 특정 포트를 점유한 프로세스 확인
sudo lsof -i:8080
# COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
# java    5678 tomcat  123u  IPv4  89012      0t0  TCP *:8080 (LISTEN)

# 특정 PID가 열고 있는 파일/소켓
sudo lsof -p 5678 | head -20

# 외부에서 DB 포트가 열려있는지 확인 (보안 점검)
ss -tlnp | grep ':3306'
# LISTEN  0  80  127.0.0.1:3306  0.0.0.0:*  ← 안전 (127.0.0.1만 바인딩)
# LISTEN  0  80  0.0.0.0:3306    0.0.0.0:*  ← 위험! 모든 IP에서 접근 가능

# 마운트된 파티션별 디스크 사용량
df -h
# Filesystem      Size  Used Avail Use% Mounted on
# /dev/sda1        50G   32G   16G  67% /
# /dev/sdb1       200G   45G  145G  24% /data
# tmpfs           3.9G  1.2M  3.9G   1% /dev/shm

# inode 사용량 (공간이 있어도 파일 못 만드는 상황 진단)
df -i
# Filesystem     Inodes  IUsed  IFree IUse% Mounted on
# /dev/sda1     3276800 198432 3078368    7% /
# /var            655360 654990    370  100% /var  ← inode 소진!

# 특정 디렉터리가 어느 파티션에 있는지 확인
df -h /opt/tomcat/logs

# 각 디렉터리별 사용량 (1단계 깊이만)
du -sh /var/log/* | sort -rh | head -20

# 특정 디렉터리 하위 상세 확인
du -sh /var/log/nginx/*

# 가장 큰 파일 TOP 10 찾기 (전체 시스템)
sudo find / -xdev -type f -exec du -sh {} + 2>/dev/null | sort -rh | head -10

# /var 디렉터리 하위 큰 파일들
sudo du -ah /var | sort -rh | head -20

# inode 많이 쓰는 디렉터리 찾기
for dir in /var /tmp /opt; do
  echo "$dir: $(find $dir -maxdepth 3 -type f 2>/dev/null | wc -l) files"
done

# 오래된 세션 파일, 임시 파일 정리 예시
find /var/lib/php/sessions -type f -mtime +7 -delete
find /tmp -type f -mtime +3 -delete

free -m
#               total   used   free  shared  buff/cache  available
# Mem:           7821   3621   2341      45        1858       3819
# Swap:          2047      0   2047

# 지속적으로 모니터링
watch -n 2 free -m

# Java 프로세스 실제 메모리 사용량 확인
ps aux --sort=-%mem | awk 'NR==1 || /java/'

# /proc으로 상세 확인
cat /proc/meminfo | grep -E 'MemTotal|MemFree|MemAvailable|SwapTotal|SwapFree|Cached'

# 특정 서비스 로그 (최근 100줄)
journalctl -u nginx -n 100 --no-pager

# 시간 범위 지정 조회
journalctl -u tomcat --since "2025-01-15 09:00:00" --until "2025-01-15 10:00:00"
journalctl -u tomcat --since "1 hour ago"
journalctl -u tomcat --since "30 min ago"

# 에러 레벨 이상만 조회
journalctl -u myapp -p err --since "today"

# 실시간 로그 팔로우
journalctl -u nginx -f

# 부팅 이후 전체 로그
journalctl -b

# 커널 메시지 (OOM killer 등 확인)
journalctl -k --since "today" | grep -E 'oom|killed|error' -i

# OOM Killer가 프로세스를 죽였는지 확인
journalctl -k --since "today" | grep -i "oom\|killed process\|out of memory"
# 또는
dmesg | grep -i "oom\|killed"