[Infra Ops] Filebeat/rsyslog 기반 로그 수집 파이프라인 구성

# 모든 서버의 Nginx 500 에러를 한 번에 검색 (Kibana/Loki)
nginx.response_code:500 AND @timestamp:[now-1h TO now]

# 특정 요청 ID로 전체 흐름 추적
request_id:"abc-123-def"

# rsyslog 설정 파일에 전송 규칙 추가
# /etc/rsyslog.d/forward.conf

# TCP 전송 (권장 — 신뢰성 있는 전송)
*.* @@logserver.internal:514

# UDP 전송 (빠르지만 유실 가능)
*.* @logserver.internal:514

# 특정 facility만 전송 (auth, kern만 중앙 전송)
auth,authpriv.* @@logserver.internal:514

# 중요도 이상만 전송 (warning 이상)
*.warning @@logserver.internal:514

# 설정 파일 문법 확인
sudo rsyslogd -N1 -f /etc/rsyslog.d/forward.conf

# rsyslog 재시작
sudo systemctl restart rsyslog

# 전송 테스트 (로그 서버에서 수신 확인)
logger "test message from $(hostname)"
# 로그 서버에서 확인
sudo tail -f /var/log/remote/$(hostname).log

# /etc/rsyslog.conf 또는 /etc/rsyslog.d/receive.conf

# TCP 514 포트 수신 활성화
module(load="imtcp")
input(type="imtcp" port="514")

# 클라이언트별 파일로 분리 저장
template(name="RemoteLogs" type="list") {
    constant(value="/var/log/remote/")
    property(name="hostname")
    constant(value=".log")
}
*.* ?RemoteLogs

# Filebeat 설치 (Ubuntu/Debian)
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.x.x-amd64.deb
sudo dpkg -i filebeat-8.x.x-amd64.deb

# CentOS/RHEL
sudo rpm -ivh filebeat-8.x.x-x86_64.rpm

# 설치 확인
filebeat version

# /etc/filebeat/filebeat.yml

# 수집할 로그 파일 지정
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/tomcat/logs/catalina.out
    - /opt/tomcat/logs/localhost.*.log
  fields:
    service: tomcat
    environment: production
    host: "{{ .Hostname }}"
  fields_under_root: true
  multiline.pattern: '^[0-9]{2}-[A-Z][a-z]+-[0-9]{4}'
  multiline.negate: true
  multiline.match: after

- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
    - /var/log/nginx/error.log
  fields:
    service: nginx
    environment: production

# Elasticsearch로 직접 전송 (Logstash 없이)
output.elasticsearch:
  hosts: ["elasticsearch.internal:9200"]
  username: "elastic"
  password: "${ELASTIC_PASSWORD}"
  index: "filebeat-%{[fields.service]}-%{+yyyy.MM.dd}"

# 또는 Logstash로 전송
# output.logstash:
#   hosts: ["logstash.internal:5044"]

# 로깅 설정
logging.level: info
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7

[각 서버·컨테이너]  앱이 catalina.out · access.log · stdout 에 로그를 씀
   │
   ① 로그 생성        파일·표준출력에 한 줄씩 기록 (멀티라인 스택 포함)
   │
   ② 에이전트 tail·전송  Filebeat harvester 가 끝을 추적 · registry 로 위치 기억 · 전송
   │
   ③ 파싱·가공        Logstash·ingest 가 grok 으로 필드 구조화 · @timestamp 정규화
   │
   ④ 중앙 저장·인덱싱   Elasticsearch 인덱스에 저장 · ILM 으로 수명 관리
   │
   ⑤ 조회·대시보드     Kibana·Grafana 에서 검색·시각화
   ▼
[중앙]  12대 서버 로그를 한 화면에서 검색·추적

# Loki 대상으로 전송하는 Promtail 설정
# (Filebeat 역할을 Promtail이 대신)
# /etc/promtail/config.yml

server:
  http_listen_port: 9080

clients:
  - url: http://loki.internal:3100/loki/api/v1/push

scrape_configs:
  - job_name: tomcat
    static_configs:
      - targets:
          - localhost
        labels:
          job: tomcat
          host: "{{ hostname }}"
          __path__: /opt/tomcat/logs/catalina.out

  - job_name: nginx
    static_configs:
      - targets:
          - localhost
        labels:
          job: nginx
          __path__: /var/log/nginx/*.log

# Elasticsearch ILM 정책 설정 예시 (API 호출)
# 30일 후 삭제하는 정책
curl -X PUT "elasticsearch:9200/_ilm/policy/filebeat-policy" \
  -H 'Content-Type: application/json' \
  -d '{
    "policy": {
      "phases": {
        "hot": {
          "actions": {
            "rollover": {
              "max_size": "5GB",
              "max_age": "1d"
            }
          }
        },
        "delete": {
          "min_age": "30d",
          "actions": {
            "delete": {}
          }
        }
      }
    }
  }'

# 인덱스 목록 확인
curl "elasticsearch:9200/_cat/indices?v&s=index" | grep filebeat