cat > /tmp/sample.log << 'EOF'
2024-01-15 08:23:11 INFO  User login: alice@example.com from 192.168.1.10
2024-01-15 08:24:02 ERROR Failed login attempt: bob@example.com from 10.0.0.55
2024-01-15 08:24:45 INFO  User login: charlie@example.com from 192.168.1.22
2024-01-15 08:25:13 ERROR Failed login attempt: ADMIN from 203.0.113.42
2024-01-15 08:25:58 WARN  Rate limit exceeded for 203.0.113.42
2024-01-15 08:26:30 ERROR Failed login attempt: root from 203.0.113.42
2024-01-15 08:27:01 INFO  User login: dave@example.com from 192.168.1.15
2024-01-15 08:28:44 ERROR Failed login attempt: administrator from 198.51.100.7
2024-01-15 08:29:10 INFO  Password reset: alice@example.com
2024-01-15 08:30:55 ERROR Connection timeout: database server unreachable
EOF

# -i: 대소문자 무시 (case Insensitive)
grep -i "error" /tmp/sample.log
# "ERROR", "Error", "error" 모두 매칭

# -v: 반전 (inVert) — 패턴이 없는 줄 출력
grep -v "INFO" /tmp/sample.log
# INFO가 없는 줄, 즉 ERROR와 WARN 줄만 출력

# -c: 카운트 (Count) — 매칭된 줄 수만 출력
grep -c "ERROR" /tmp/sample.log
# 출력: 5

# -n: 라인번호 (liNe number) 함께 출력
grep -n "Failed login" /tmp/sample.log
# 출력:
# 2:2024-01-15 08:24:02 ERROR Failed login attempt: bob@example.com from 10.0.0.55
# 4:2024-01-15 08:25:13 ERROR Failed login attempt: ADMIN from 203.0.113.42
# 6:2024-01-15 08:26:30 ERROR Failed login attempt: root from 203.0.113.42
# 8:2024-01-15 08:28:44 ERROR Failed login attempt: administrator from 198.51.100.7

# -r: 디렉토리 재귀 탐색 (Recursive)
grep -r "database" /tmp/
# /tmp/ 아래 모든 파일에서 "database" 검색

# -A 3: 매칭 줄 이후(After) 3줄
grep -A 2 "Rate limit" /tmp/sample.log

# -B 2: 매칭 줄 이전(Before) 2줄
grep -B 1 "Connection timeout" /tmp/sample.log

# -C 2: 전후 2줄 (Context)
grep -C 1 "WARN" /tmp/sample.log

# IP 주소 패턴 매칭
grep -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" /tmp/sample.log

# 203.0.113.42에서 온 모든 로그 (공격자 IP 추적)
grep -E "203\.0\.113\.42" /tmp/sample.log

# ERROR 또는 WARN 줄만 추출
grep -E "ERROR|WARN" /tmp/sample.log

# 이메일 주소가 포함된 줄
grep -E "[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}" /tmp/sample.log

# 줄의 시작이 2024-01-15 08:2로 시작하는 줄 (특정 분대 로그)
grep "^2024-01-15 08:2[4-9]" /tmp/sample.log

# "root" 또는 "admin" 계정 시도 (단어 경계 사용)
grep -E "\b(root|admin|administrator|ADMIN)\b" /tmp/sample.log

# /var/log/auth.log 또는 /var/log/secure 형식
# 실제 SSH 실패 로그 형식:
# Jan 15 08:24:02 hostname sshd[1234]: Failed password for root from 203.0.113.42 port 22 ssh2

grep -E "Failed password for .+ from [0-9.]+" /var/log/auth.log 2>/dev/null || \
grep -E "Failed password for .+ from [0-9.]+" /var/log/secure 2>/dev/null

cat > /tmp/access.log << 'EOF'
192.168.1.10 - alice [15/Jan/2024:08:23:11 +0900] "GET /api/users HTTP/1.1" 200 1543
10.0.0.55 - - [15/Jan/2024:08:24:02 +0900] "POST /login HTTP/1.1" 401 89
192.168.1.22 - charlie [15/Jan/2024:08:24:45 +0900] "GET /dashboard HTTP/1.1" 200 8921
203.0.113.42 - - [15/Jan/2024:08:25:13 +0900] "GET /admin HTTP/1.1" 403 156
192.168.1.15 - dave [15/Jan/2024:08:27:01 +0900] "POST /api/orders HTTP/1.1" 201 2341
198.51.100.7 - - [15/Jan/2024:08:28:44 +0900] "GET /wp-admin HTTP/1.1" 404 189
192.168.1.10 - alice [15/Jan/2024:08:29:10 +0900] "GET /api/products HTTP/1.1" 200 4521
203.0.113.42 - - [15/Jan/2024:08:30:55 +0900] "POST /login HTTP/1.1" 500 67
192.168.1.22 - charlie [15/Jan/2024:08:31:20 +0900] "DELETE /api/users/5 HTTP/1.1" 204 0
10.0.0.55 - - [15/Jan/2024:08:32:01 +0900] "GET /api/users HTTP/1.1" 200 1543
EOF

# IP 주소만 추출 ($1)
awk '{print $1}' /tmp/access.log

# HTTP 상태 코드 추출 ($9)
awk '{print $9}' /tmp/access.log

# IP와 상태 코드만 출력
awk '{print $1, $9}' /tmp/access.log

# 출력 구분자를 탭으로 변경
awk 'BEGIN{OFS="\t"} {print $1, $7, $9}' /tmp/access.log

# HTTP 200이 아닌 요청만 출력
awk '$9 != "200"' /tmp/access.log

# HTTP 500 에러만 출력
awk '$9 == "500" {print $1, $7, $9}' /tmp/access.log

# 4xx, 5xx 에러 (상태 코드 400 이상)
awk '$9 >= 400 {print $1, $6, $7, $9}' /tmp/access.log

# 응답 크기가 1000 바이트 이상인 요청 ($10이 응답 바이트)
awk '$10 >= 1000 {print $1, $7, $9, $10, "bytes"}' /tmp/access.log

# 전체 요청 수와 200 성공 수 카운트
awk 'BEGIN{total=0; ok=0}
     {total++; if($9=="200") ok++}
     END{print "전체 요청:", total, "/ 성공(200):", ok, "/ 성공률:", int(ok/total*100)"%"}' \
     /tmp/access.log

# 출력: 전체 요청: 10 / 성공(200): 4 / 성공률: 40%

# 특정 IP의 요청 횟수 세기
awk '{count[$1]++}
     END{for(ip in count) print count[ip], ip}' /tmp/access.log | sort -rn

# 날짜/시간 필드에서 시간만 추출 ([15/Jan/2024:08:23:11 에서 08:23:11)
awk '{split($4, t, ":"); print t[2]":"t[3]":"t[4]}' /tmp/access.log

# HTTP 메서드 추출 ("GET /api/users HTTP/1.1" 에서 GET)
awk '{gsub(/"/, "", $6); print $6}' /tmp/access.log

sed '[범위][명령][옵션]' 파일

# 기본 치환: s/찾을패턴/바꿀내용/플래그
# 각 줄의 첫 번째 ERROR를 [ERROR]로
sed 's/ERROR/[ERROR]/' /tmp/sample.log

# g 플래그: 줄 내 모든 패턴 치환 (global)
sed 's/ERROR/[ERROR]/g' /tmp/sample.log

# i 플래그: 대소문자 무시
sed 's/error/[ERROR]/gi' /tmp/sample.log

# 구분자를 / 외에도 사용 가능 (경로 치환 시 편리)
sed 's|/old/path|/new/path|g' config.txt
sed 's,/usr/local,/opt,g' config.txt

# 정규표현식 사용
sed 's/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/[REDACTED]/g' /tmp/sample.log

# -i 옵션: 파일을 직접 수정 (in-place)
sed -i 's/old_password/new_password/g' config.ini

# -i.bak: 백업 파일 만들면서 직접 수정
sed -i.bak 's/DEBUG/INFO/g' app.properties

# 주석 줄 삭제 (# 로 시작하는 줄)
sed '/^#/d' config.txt

# 빈 줄 삭제
sed '/^$/d' config.txt

# INFO 로그 줄 삭제 (ERROR와 WARN만 남기기)
sed '/INFO/d' /tmp/sample.log

# 빈 줄과 주석 줄 동시 삭제
sed '/^#/d; /^$/d' config.txt

# 특정 줄 번호 삭제 (5번째 줄 삭제)
sed '5d' file.txt

# 범위 삭제 (3번째~7번째 줄)
sed '3,7d' file.txt

# -n 옵션과 함께: 매칭된 줄만 출력 (grep과 유사)
sed -n '/ERROR/p' /tmp/sample.log

# 줄 번호로 선택
sed -n '3,5p' /tmp/sample.log     # 3~5번째 줄만 출력
sed -n '1p' /tmp/sample.log       # 첫 번째 줄만

# 마지막 줄
sed -n '$p' /tmp/sample.log

# 패턴 사이 줄 추출
sed -n '/START/,/END/p' file.txt

# -e 로 여러 명령 결합
sed -e 's/ERROR/[ERROR]/g' -e '/^$/d' /tmp/sample.log

# 세미콜론으로 구분
sed 's/ERROR/[ERROR]/g; /^$/d' /tmp/sample.log

# 설정 파일에서 주석 제거 후 포트 번호 변경
sed '/^#/d; /^$/d; s/port=8080/port=9090/' server.conf

# 파일 끝에서부터 10줄 출력하고 계속 추적
tail -f /var/log/nginx/error.log

# 처음부터가 아닌 100줄부터 추적
tail -n 100 -f /var/log/nginx/access.log

# 여러 파일 동시 추적 (파일명이 자동으로 표시됨)
tail -f /var/log/nginx/access.log /var/log/nginx/error.log

# --follow=name: 로그 로테이션 후에도 같은 파일명 추적
tail --follow=name /var/log/app/app.log

# 실시간으로 ERROR 줄만 출력
tail -f /var/log/app/app.log | grep --line-buffered "ERROR"

# --line-buffered 옵션이 중요! 없으면 버퍼링 때문에 실시간 출력이 안 될 수 있음

# HTTP 500 에러만 실시간 추적
tail -f /var/log/nginx/access.log | grep --line-buffered '" 500 '

# 특정 IP의 접근만 추적
tail -f /var/log/nginx/access.log | grep --line-buffered "203.0.113.42"

# 에러이면서 특정 API 경로인 것만
tail -f /var/log/app/app.log | grep --line-buffered -E "ERROR.*(/api/payment|/api/order)"

# 출력에 현재 시각 추가 (ts 명령어, moreutils 패키지)
tail -f /var/log/app/app.log | ts '[%Y-%m-%d %H:%M:%S]'

# ts 없이 awk로 타임스탬프 추가
tail -f /var/log/app/app.log | awk '{print strftime("[%Y-%m-%d %H:%M:%S]"), $0}'

# 실시간 에러 카운터 (5초마다 에러 수 출력)
tail -f /var/log/app/app.log | grep --line-buffered "ERROR" | \
  awk 'BEGIN{count=0} {count++; if(count%10==0) print count, "errors so far"}'

# 여러 로그를 분할 화면으로 동시 모니터링
multitail /var/log/nginx/access.log /var/log/nginx/error.log /var/log/app/app.log

# -l: 줄 수 (line count)
wc -l /tmp/access.log
grep "ERROR" /tmp/sample.log | wc -l

# -w: 단어 수 (word count)
wc -w /tmp/sample.log

# -c: 바이트 수 (character/byte count)
wc -c /tmp/access.log

# 여러 파일 동시
wc -l /var/log/nginx/*.log

# -d: 구분자, -f: 필드 번호
# /etc/passwd에서 사용자명과 홈디렉토리만
cut -d: -f1,6 /etc/passwd

# 로그에서 날짜 부분만 추출 (첫 10글자)
cut -c1-10 /tmp/sample.log

# CSV에서 2번째와 4번째 컬럼
cut -d',' -f2,4 data.csv

# access.log에서 IP 주소만 (공백 구분 첫 번째 필드)
cut -d' ' -f1 /tmp/access.log

# 기본 알파벳순 정렬
sort /tmp/access.log

# -r: 역순 (reverse)
sort -r /tmp/access.log

# -n: 숫자 정렬 (numeric) — "10"이 "2"보다 크게 처리
sort -n numbers.txt

# -k: 키 필드 지정 (k필드번호)
sort -k9 /tmp/access.log         # 9번째 필드(상태코드)로 정렬
sort -k9 -rn /tmp/access.log     # 9번째 필드 내림차순 숫자 정렬

# -t: 구분자 지정
sort -t: -k3 -n /etc/passwd      # UID(3번째) 기준 정렬

# -u: 중복 제거 후 정렬
sort -u /tmp/ips.txt

# 반드시 sort 후 사용 (인접한 중복만 제거)
sort /tmp/access.log | uniq

# -c: 각 줄의 반복 횟수 출력 (count)
sort /tmp/access.log | uniq -c

# -d: 중복된 줄만 출력 (duplicate)
sort /tmp/access.log | uniq -d

# -u: 한 번만 나온 줄만 출력 (unique)
sort /tmp/access.log | uniq -u

# IP 주소별 접근 빈도
cut -d' ' -f1 /tmp/access.log | sort | uniq -c | sort -rn
# 출력:
#   3 192.168.1.10
#   2 203.0.113.42
#   ...

awk '{print $9}' /tmp/access.log | sort | uniq -c | sort -rn
# 출력:
#   4 200
#   1 201
#   1 204
#   1 401
#   1 403
#   1 404
#   1 500

# 방법 1: cut + sort + uniq 조합
cut -d' ' -f1 /tmp/access.log | sort | uniq -c | sort -rn | head -10

# 방법 2: awk 활용 (더 유연)
awk '{ip[$1]++}
     END{for(i in ip) print ip[i], i}' /tmp/access.log | \
     sort -rn | head -10

# 출력 형식 개선
awk '{ip[$1]++}
     END{for(i in ip) printf "%5d 회  %s\n", ip[i], i}' /tmp/access.log | \
     sort -rn | head -10

# 출력 예시:
#     3 회  192.168.1.10
#     2 회  192.168.1.22
#     2 회  10.0.0.55
#     2 회  203.0.113.42
#     1 회  192.168.1.15
#     1 회  198.51.100.7

awk '{print $7}' /tmp/access.log | sort | uniq -c | sort -rn | head -10

# 시간(HH) 기준 요청 수
awk '{print $4}' /tmp/access.log | \
  cut -d: -f2 | sort | uniq -c

# 분 단위 분포
awk '{print substr($4,2,14)}' /tmp/access.log | \
  cut -d: -f1,2 | sort | uniq -c

awk '{bytes[$1]+=$10; count[$1]++}
     END{
       for(ip in bytes)
         printf "%-15s %d 요청, 평균 %.0f bytes\n",
           ip, count[ip], bytes[ip]/count[ip]
     }' /tmp/access.log | sort

# 분당 요청 수가 100 이상인 시간대 탐지
awk '{print substr($4,2,17)}' /tmp/access.log | \
  cut -d: -f1,2,3 | sort | uniq -c | \
  awk '$1 >= 2 {print "트래픽 급증:", $2, "-", $1, "요청/분"}'

# Ubuntu/Debian
sudo apt-get install jq

# CentOS/RHEL
sudo yum install jq

# macOS
brew install jq

cat > /tmp/app.jsonl << 'EOF'
{"timestamp":"2024-01-15T08:23:11Z","level":"INFO","service":"auth","message":"User logged in","user_id":1001,"ip":"192.168.1.10","latency_ms":45}
{"timestamp":"2024-01-15T08:24:02Z","level":"ERROR","service":"payment","message":"Payment failed","user_id":1002,"ip":"10.0.0.55","latency_ms":3201,"error_code":"CARD_DECLINED","amount":59900}
{"timestamp":"2024-01-15T08:24:45Z","level":"INFO","service":"catalog","message":"Product fetched","user_id":1003,"ip":"192.168.1.22","latency_ms":12,"product_id":"P-4521"}
{"timestamp":"2024-01-15T08:25:13Z","level":"WARN","service":"auth","message":"Rate limit approaching","ip":"203.0.113.42","requests_per_min":95,"limit":100}
{"timestamp":"2024-01-15T08:26:30Z","level":"ERROR","service":"order","message":"Database timeout","user_id":1002,"latency_ms":30000,"db_host":"db-primary.internal","retries":3}
{"timestamp":"2024-01-15T08:27:01Z","level":"INFO","service":"cart","message":"Item added to cart","user_id":1004,"ip":"192.168.1.15","latency_ms":8,"product_id":"P-1234","quantity":2}
{"timestamp":"2024-01-15T08:28:44Z","level":"ERROR","service":"payment","message":"Payment failed","user_id":1005,"ip":"192.168.1.30","latency_ms":2890,"error_code":"INSUFFICIENT_FUNDS","amount":129000}
EOF

# 전체 JSON 예쁘게 출력 (pretty print)
cat /tmp/app.jsonl | jq '.'

# 특정 필드만 추출
cat /tmp/app.jsonl | jq '.level'
cat /tmp/app.jsonl | jq '.message'
cat /tmp/app.jsonl | jq '.service'

# 여러 필드 추출 (새 JSON으로)
cat /tmp/app.jsonl | jq '{level: .level, service: .service, message: .message}'

# 원시 문자열 출력 (-r 옵션, 따옴표 없이)
cat /tmp/app.jsonl | jq -r '.level'

# 여러 필드를 탭으로 구분하여 출력
cat /tmp/app.jsonl | jq -r '[.timestamp, .level, .service, .message] | @tsv'

# ERROR 레벨만 출력
cat /tmp/app.jsonl | jq 'select(.level == "ERROR")'

# ERROR 레벨의 서비스와 에러코드만
cat /tmp/app.jsonl | jq -r 'select(.level == "ERROR") | "\(.service): \(.message)"'

# 레이턴시가 1000ms 이상인 로그
cat /tmp/app.jsonl | jq 'select(.latency_ms >= 1000)'

# payment 서비스의 에러만
cat /tmp/app.jsonl | jq 'select(.service == "payment" and .level == "ERROR")'

# 에러코드가 있는 로그만 (필드 존재 여부)
cat /tmp/app.jsonl | jq 'select(.error_code != null)'

# 서비스별 로그 수 카운트
cat /tmp/app.jsonl | jq -r '.service' | sort | uniq -c | sort -rn

# 에러 코드 목록 추출
cat /tmp/app.jsonl | jq -r 'select(.error_code) | .error_code' | sort | uniq -c

# 평균 레이턴시 계산
cat /tmp/app.jsonl | jq -s '[.[].latency_ms] | add/length'

# 서비스별 최대 레이턴시
cat /tmp/app.jsonl | jq -r '[.service, (.latency_ms|tostring)] | @tsv' | \
  sort -k1,1 -k2,2rn | awk '!seen[$1]++'

# JSON 로그에서 ERROR만 추출 후 IP 빈도 분석
cat /tmp/app.jsonl | \
  jq -r 'select(.level == "ERROR") | .ip // "N/A"' | \
  sort | uniq -c | sort -rn

# JSON 로그에서 실시간 에러 모니터링
tail -f /var/log/app/app.jsonl | \
  jq --unbuffered -r 'select(.level == "ERROR") |
    "[\(.timestamp)] \(.service) | \(.message) | latency: \(.latency_ms)ms"'

#!/bin/bash
# log_report.sh — Nginx 액세스 로그 종합 분석

LOG_FILE="${1:-/tmp/access.log}"
echo "============================================"
echo " Nginx 액세스 로그 분석 보고서"
echo " 파일: $LOG_FILE"
echo " 생성: $(date '+%Y-%m-%d %H:%M:%S')"
echo "============================================"
echo ""

echo "[ 전체 요청 통계 ]"
TOTAL=$(wc -l < "$LOG_FILE")
echo "총 요청 수: $TOTAL"

echo ""
echo "[ HTTP 상태 코드별 분포 ]"
awk '{print $9}' "$LOG_FILE" | sort | uniq -c | sort -rn | \
  awk '{printf "  %s: %d 회 (%.1f%%)\n", $2, $1, $1/'$TOTAL'*100}'

echo ""
echo "[ 상위 10 접속 IP ]"
awk '{print $1}' "$LOG_FILE" | sort | uniq -c | sort -rn | head -10 | \
  awk '{printf "  %-15s %5d 회\n", $2, $1}'

echo ""
echo "[ 상위 10 요청 URL ]"
awk '{print $7}' "$LOG_FILE" | sort | uniq -c | sort -rn | head -10 | \
  awk '{printf "  %5d 회  %s\n", $1, $2}'

echo ""
echo "[ 에러 요청 (4xx/5xx) ]"
awk '$9 >= 400 {print $9, $1, $7}' "$LOG_FILE" | sort | \
  awk '{printf "  [%s] %-15s %s\n", $1, $2, $3}'

echo ""
echo "[ 응답 크기 통계 ]"
awk 'NF>=10 && $10~/^[0-9]+$/ {
       total+=$10; count++;
       if($10>max) max=$10
     }
     END{
       printf "  평균: %.0f bytes\n", total/count
       printf "  최대: %d bytes\n", max
       printf "  총합: %.2f MB\n", total/1024/1024
     }' "$LOG_FILE"

echo ""
echo "============================================"

chmod +x log_report.sh
./log_report.sh /tmp/access.log

============================================
 Nginx 액세스 로그 분석 보고서
 파일: /tmp/access.log
 생성: 2024-01-15 09:00:00
============================================

[ 전체 요청 통계 ]
총 요청 수: 10

[ HTTP 상태 코드별 분포 ]
  200: 4 회 (40.0%)
  500: 1 회 (10.0%)
  404: 1 회 (10.0%)
  403: 1 회 (10.0%)
  401: 1 회 (10.0%)
  204: 1 회 (10.0%)
  201: 1 회 (10.0%)

[ 상위 10 접속 IP ]
  192.168.1.10      3 회
  192.168.1.22      2 회
  10.0.0.55         2 회
  203.0.113.42      2 회
  192.168.1.15      1 회
  198.51.100.7      1 회

[ 상위 10 요청 URL ]
      3 회  /api/users
      2 회  /login
      ...

# 현재 초당 요청 수 (실시간)
tail -f access.log | awk '{print substr($4,2,17)}' | uniq -c

# 응답 시간 상위 5개 요청
awk '{print $NF, $7}' access.log | sort -rn | head -5

# 특정 User-Agent 통계 (봇 탐지)
grep -oE '"[^"]*"$' access.log | sort | uniq -c | sort -rn | head -10

# 404 에러가 가장 많이 발생하는 URL
awk '$9=="404"{print $7}' access.log | sort | uniq -c | sort -rn | head -10

# 분당 에러율 추이
awk '$9>=500{
  split($4,t,":"); key=t[2]":"t[3]
  errors[key]++; total[key]++
} $9<500{
  split($4,t,":"); key=t[2]":"t[3]
  total[key]++
} END{
  for(k in total)
    printf "%s 에러율: %.1f%% (%d/%d)\n", k, errors[k]/total[k]*100, errors[k], total[k]
}' access.log | sort