sudo mkdir -p /opt/healthcheck
sudo tee /opt/healthcheck/check_nginx.sh > /dev/null << 'EOF'
#!/usr/bin/env bash
# check_nginx.sh — nginx 상태 감시 및 자동 재시작
# 작성일: 2026-03-26
# 실행 환경: Ubuntu 22.04 / RHEL 9

set -euo pipefail

SERVICE="nginx"
LOG_FILE="/var/log/healthcheck/nginx.log"
MAX_RESTART=3
RESTART_COUNT_FILE="/tmp/nginx_restart_count"

# 로그 디렉터리 생성
mkdir -p "$(dirname "$LOG_FILE")"

# 타임스탬프 함수
timestamp() {
    date '+%Y-%m-%d %H:%M:%S'
}

# 로그 함수
log() {
    local level="$1"
    shift
    echo "[$(timestamp)] [$level] $*" | tee -a "$LOG_FILE"
}

# 재시작 카운터 읽기
get_restart_count() {
    if [[ -f "$RESTART_COUNT_FILE" ]]; then
        cat "$RESTART_COUNT_FILE"
    else
        echo "0"
    fi
}

# 재시작 카운터 증가
increment_restart_count() {
    local count
    count=$(get_restart_count)
    echo $((count + 1)) > "$RESTART_COUNT_FILE"
}

# 재시작 카운터 초기화
reset_restart_count() {
    echo "0" > "$RESTART_COUNT_FILE"
}

# 메인 헬스체크
main() {
    log "INFO" "=== 헬스체크 시작: $SERVICE ==="

    if systemctl is-active --quiet "$SERVICE"; then
        log "INFO" "$SERVICE 정상 동작 중"
        reset_restart_count
        exit 0
    fi

    # 서비스가 비활성 상태
    log "WARN" "$SERVICE 비활성 감지"

    local count
    count=$(get_restart_count)

    if [[ "$count" -ge "$MAX_RESTART" ]]; then
        log "ERROR" "재시작 횟수($count)가 최대값($MAX_RESTART)을 초과했습니다. 수동 개입이 필요합니다."
        exit 1
    fi

    log "INFO" "재시작 시도 중... (시도 횟수: $((count + 1))/$MAX_RESTART)"
    increment_restart_count

    if systemctl restart "$SERVICE"; then
        log "INFO" "$SERVICE 재시작 성공"
    else
        log "ERROR" "$SERVICE 재시작 실패"
        exit 1
    fi
}

main "$@"
EOF

sudo chmod +x /opt/healthcheck/check_nginx.sh

sudo /opt/healthcheck/check_nginx.sh

sudo systemctl stop nginx
sudo /opt/healthcheck/check_nginx.sh
systemctl is-active nginx   # active 가 출력되어야 합니다

sudo tee /opt/healthcheck/check_services.sh > /dev/null << 'EOF'
#!/usr/bin/env bash
# check_services.sh — 다중 서비스 일괄 헬스체크
# 사용법: ./check_services.sh [--dry-run]

set -uo pipefail

# ──────────────────────────────────────────
# 설정 섹션 — 환경에 맞게 수정하세요
# ──────────────────────────────────────────
SERVICES=(
    "nginx"
    "postgresql"
    "redis"
    "docker"
)

LOG_FILE="/var/log/healthcheck/services.log"
DRY_RUN=false
FAILED_SERVICES=()

# ──────────────────────────────────────────
# 유틸리티 함수
# ──────────────────────────────────────────
timestamp() { date '+%Y-%m-%d %H:%M:%S'; }

log() {
    local level="$1"; shift
    local msg="[$(timestamp)] [$level] $*"
    echo "$msg" | tee -a "$LOG_FILE"
}

# 인자 파싱
parse_args() {
    for arg in "$@"; do
        case "$arg" in
            --dry-run) DRY_RUN=true ;;
            *) log "WARN" "알 수 없는 인자: $arg" ;;
        esac
    done
}

# 단일 서비스 체크 및 복구
check_and_recover() {
    local service="$1"

    # 서비스 존재 여부 확인
    if ! systemctl list-units --type=service --all | grep -q "${service}.service"; then
        log "SKIP" "$service: 시스템에 등록되지 않은 서비스 (건너뜀)"
        return 0
    fi

    if systemctl is-active --quiet "$service"; then
        log "OK" "$service: 정상"
        return 0
    fi

    log "FAIL" "$service: 비활성 상태 감지"
    FAILED_SERVICES+=("$service")

    if [[ "$DRY_RUN" == "true" ]]; then
        log "INFO" "[DRY-RUN] $service 재시작을 시뮬레이션합니다 (실제 실행 안 함)"
        return 0
    fi

    log "INFO" "$service 재시작 시도..."
    if systemctl restart "$service" 2>>"$LOG_FILE"; then
        log "INFO" "$service 재시작 성공"
    else
        log "ERROR" "$service 재시작 실패 — 수동 점검 필요"
        return 1
    fi
}

# 요약 리포트 출력
print_summary() {
    log "INFO" "──────────────────────────────"
    log "INFO" "헬스체크 완료: 총 ${#SERVICES[@]}개 서비스 점검"

    if [[ ${#FAILED_SERVICES[@]} -eq 0 ]]; then
        log "INFO" "모든 서비스 정상"
    else
        log "WARN" "이상 감지 서비스: ${FAILED_SERVICES[*]}"
    fi
    log "INFO" "──────────────────────────────"
}

# ──────────────────────────────────────────
# 메인
# ──────────────────────────────────────────
main() {
    parse_args "$@"
    mkdir -p "$(dirname "$LOG_FILE")"

    [[ "$DRY_RUN" == "true" ]] && log "INFO" "=== DRY-RUN 모드 ==="
    log "INFO" "=== 다중 서비스 헬스체크 시작 ==="

    for service in "${SERVICES[@]}"; do
        check_and_recover "$service" || true
    done

    print_summary
}

main "$@"
EOF

sudo chmod +x /opt/healthcheck/check_services.sh

# 정상 실행 테스트
sudo /opt/healthcheck/check_services.sh --dry-run

sudo tee /opt/healthcheck/check_resources.sh > /dev/null << 'EOF'
#!/usr/bin/env bash
# check_resources.sh — 디스크 및 메모리 임계값 모니터링

set -uo pipefail

# ──────────────────────────────────────────
# 임계값 설정 (퍼센트)
# ──────────────────────────────────────────
DISK_WARN_THRESHOLD=75
DISK_CRIT_THRESHOLD=90
MEM_WARN_THRESHOLD=80
MEM_CRIT_THRESHOLD=95

LOG_FILE="/var/log/healthcheck/resources.log"
ALERT_FLAG=false

timestamp() { date '+%Y-%m-%d %H:%M:%S'; }

log() {
    local level="$1"; shift
    echo "[$(timestamp)] [$level] $*" | tee -a "$LOG_FILE"
}

# ──────────────────────────────────────────
# 디스크 사용률 체크
# df 출력 예시:
# Filesystem     1K-blocks    Used Available Use% Mounted on
# /dev/sda1      41151808 8033792  31013264  21% /
# ──────────────────────────────────────────
check_disk() {
    log "INFO" "--- 디스크 사용률 점검 ---"

    # -x tmpfs: tmpfs(가상 파일시스템) 제외
    # NR>1: 헤더 행 건너뜀
    # $5: "Use%" 컬럼에서 숫자만 추출
    while IFS= read -r line; do
        local usage
        local mountpoint
        usage=$(echo "$line" | awk '{gsub(/%/, "", $5); print $5}')
        mountpoint=$(echo "$line" | awk '{print $6}')

        if [[ -z "$usage" || -z "$mountpoint" ]]; then
            continue
        fi

        if [[ "$usage" -ge "$DISK_CRIT_THRESHOLD" ]]; then
            log "CRIT" "디스크 임계값 초과: $mountpoint 사용률 ${usage}% (임계값: ${DISK_CRIT_THRESHOLD}%)"
            ALERT_FLAG=true
        elif [[ "$usage" -ge "$DISK_WARN_THRESHOLD" ]]; then
            log "WARN" "디스크 경고: $mountpoint 사용률 ${usage}% (경고값: ${DISK_WARN_THRESHOLD}%)"
            ALERT_FLAG=true
        else
            log "OK" "디스크 정상: $mountpoint 사용률 ${usage}%"
        fi
    done < <(df -h -x tmpfs -x devtmpfs | tail -n +2)
}

# ──────────────────────────────────────────
# 메모리 사용률 체크
# free -m 출력 예시:
#               total        used        free      shared  buff/cache   available
# Mem:           7822        3241         512         108        4068        4246
# ──────────────────────────────────────────
check_memory() {
    log "INFO" "--- 메모리 사용률 점검 ---"

    # total과 used를 읽어 퍼센트 계산
    # buff/cache는 실질적으로 사용 가능한 메모리이므로 available 기준으로 판단
    local mem_info
    mem_info=$(free -m | awk '/^Mem:/ {
        total=$2; available=$7;
        used=total-available;
        pct=int(used*100/total);
        print total, used, available, pct
    }')

    local total used available pct
    read -r total used available pct <<< "$mem_info"

    log "INFO" "메모리 총계: ${total}MB | 사용: ${used}MB | 가용: ${available}MB | 사용률: ${pct}%"

    if [[ "$pct" -ge "$MEM_CRIT_THRESHOLD" ]]; then
        log "CRIT" "메모리 임계값 초과: ${pct}% (임계값: ${MEM_CRIT_THRESHOLD}%)"
        ALERT_FLAG=true
    elif [[ "$pct" -ge "$MEM_WARN_THRESHOLD" ]]; then
        log "WARN" "메모리 경고: ${pct}% (경고값: ${MEM_WARN_THRESHOLD}%)"
        ALERT_FLAG=true
    else
        log "OK" "메모리 정상: ${pct}%"
    fi
}

main() {
    mkdir -p "$(dirname "$LOG_FILE")"
    log "INFO" "=== 리소스 헬스체크 시작 ==="
    check_disk
    check_memory
    log "INFO" "=== 리소스 헬스체크 완료 ==="

    # ALERT_FLAG가 true면 종료코드 1 반환 (cron에서 메일 알림 활용 가능)
    if [[ "$ALERT_FLAG" == "true" ]]; then
        exit 1
    fi
}

main "$@"
EOF

sudo chmod +x /opt/healthcheck/check_resources.sh
sudo /opt/healthcheck/check_resources.sh

sudo tee /opt/healthcheck/check_endpoints.sh > /dev/null << 'EOF'
#!/usr/bin/env bash
# check_endpoints.sh — HTTP 엔드포인트 및 TCP 포트 헬스체크

set -uo pipefail

LOG_FILE="/var/log/healthcheck/endpoints.log"
CURL_TIMEOUT=5       # 연결 타임아웃 (초)
CURL_MAX_TIME=10     # 전체 요청 최대 시간 (초)

# ──────────────────────────────────────────
# HTTP 엔드포인트 목록
# 형식: "URL 예상_상태코드"
# ──────────────────────────────────────────
HTTP_ENDPOINTS=(
    "http://localhost:80/health 200"
    "http://localhost:8080/api/health 200"
    "http://localhost:3000/ 200"
)

# ──────────────────────────────────────────
# TCP 포트 목록
# 형식: "호스트 포트 서비스명"
# ──────────────────────────────────────────
TCP_PORTS=(
    "localhost 5432 postgresql"
    "localhost 6379 redis"
    "localhost 27017 mongodb"
)

timestamp() { date '+%Y-%m-%d %H:%M:%S'; }
log() { local l="$1"; shift; echo "[$(timestamp)] [$l] $*" | tee -a "$LOG_FILE"; }

# ──────────────────────────────────────────
# HTTP 헬스체크
# curl 옵션 설명:
#   -s          : 진행 표시 숨김 (silent)
#   -o /dev/null: 응답 본문 버림
#   -w "%{http_code}": HTTP 상태코드만 출력
#   --connect-timeout: TCP 연결 타임아웃
#   --max-time  : 전체 요청 타임아웃
# ──────────────────────────────────────────
check_http() {
    log "INFO" "--- HTTP 엔드포인트 점검 ---"

    for entry in "${HTTP_ENDPOINTS[@]}"; do
        local url expected_code
        url=$(echo "$entry" | awk '{print $1}')
        expected_code=$(echo "$entry" | awk '{print $2}')

        local actual_code
        # timeout 명령어로 curl 자체도 감싸서 확실한 타임아웃 보장
        actual_code=$(timeout "$CURL_MAX_TIME" curl \
            -s \
            -o /dev/null \
            -w "%{http_code}" \
            --connect-timeout "$CURL_TIMEOUT" \
            --max-time "$CURL_MAX_TIME" \
            "$url" 2>/dev/null) || actual_code="000"

        if [[ "$actual_code" == "$expected_code" ]]; then
            log "OK" "HTTP $url → $actual_code (예상: $expected_code)"
        elif [[ "$actual_code" == "000" ]]; then
            log "FAIL" "HTTP $url → 연결 실패 또는 타임아웃"
        else
            log "FAIL" "HTTP $url → $actual_code (예상: $expected_code)"
        fi
    done
}

# ──────────────────────────────────────────
# TCP 포트 헬스체크
# nc (netcat) 옵션:
#   -z : 포트 스캔만 수행 (데이터 전송 안 함)
#   -v : 상세 출력 (stderr로 나옴)
#   -w : 타임아웃 (초)
# 대안: bash /dev/tcp 활용 (nc 없는 환경)
# ──────────────────────────────────────────
check_ports() {
    log "INFO" "--- TCP 포트 점검 ---"

    for entry in "${TCP_PORTS[@]}"; do
        local host port service_name
        host=$(echo "$entry" | awk '{print $1}')
        port=$(echo "$entry" | awk '{print $2}')
        service_name=$(echo "$entry" | awk '{print $3}')

        # nc가 있는지 먼저 확인, 없으면 /dev/tcp 사용
        if command -v nc &>/dev/null; then
            if nc -z -w 3 "$host" "$port" 2>/dev/null; then
                log "OK" "PORT $service_name ($host:$port) → 열려 있음"
            else
                log "FAIL" "PORT $service_name ($host:$port) → 닫혀 있거나 연결 거부"
            fi
        else
            # nc가 없을 때 bash 내장 /dev/tcp 활용
            if timeout 3 bash -c "echo >/dev/tcp/$host/$port" 2>/dev/null; then
                log "OK" "PORT $service_name ($host:$port) → 열려 있음 (bash /dev/tcp)"
            else
                log "FAIL" "PORT $service_name ($host:$port) → 닫혀 있거나 연결 거부 (bash /dev/tcp)"
            fi
        fi
    done
}

main() {
    mkdir -p "$(dirname "$LOG_FILE")"
    log "INFO" "=== 엔드포인트 헬스체크 시작 ==="
    check_http
    check_ports
    log "INFO" "=== 엔드포인트 헬스체크 완료 ==="
}

main "$@"
EOF

sudo chmod +x /opt/healthcheck/check_endpoints.sh
sudo /opt/healthcheck/check_endpoints.sh

sudo tee /opt/healthcheck/notify.sh > /dev/null << 'EOF'
#!/usr/bin/env bash
# notify.sh — Slack Webhook 알림 모듈
# 다른 스크립트에서 source ./notify.sh 로 불러와 사용합니다

# ──────────────────────────────────────────
# 환경변수로 Webhook URL 설정
# export SLACK_WEBHOOK_URL="https://hooks.slack.com/services/T.../B.../..."
# 스크립트에 하드코딩하지 마세요!
# ──────────────────────────────────────────

SLACK_TIMEOUT=10
HOSTNAME_SHORT=$(hostname -s)

# ──────────────────────────────────────────
# Slack 메시지 전송 함수
# 인자:
#   $1 — 레벨 (OK / WARN / CRIT / INFO)
#   $2 — 서비스명 또는 체크 대상
#   $3 — 메시지 내용
# ──────────────────────────────────────────
slack_notify() {
    local level="$1"
    local target="$2"
    local message="$3"

    # Webhook URL이 설정되지 않으면 조용히 종료
    if [[ -z "${SLACK_WEBHOOK_URL:-}" ]]; then
        echo "[NOTIFY] SLACK_WEBHOOK_URL 미설정 — 알림 생략" >&2
        return 0
    fi

    # 레벨별 이모지 및 색상 설정
    local emoji color
    case "$level" in
        OK)   emoji=":white_check_mark:"; color="#36a64f" ;;
        WARN) emoji=":warning:";          color="#ffcc00" ;;
        CRIT) emoji=":rotating_light:";   color="#ff0000" ;;
        *)    emoji=":information_source:"; color="#439fe0" ;;
    esac

    local ts
    ts=$(date '+%Y-%m-%d %H:%M:%S')

    # Slack Block Kit JSON 페이로드 구성
    # printf를 사용해 특수문자 이스케이프 문제 최소화
    local payload
    payload=$(printf '{
        "attachments": [{
            "color": "%s",
            "blocks": [
                {
                    "type": "section",
                    "text": {
                        "type": "mrkdwn",
                        "text": "%s *[%s]* `%s` — %s"
                    }
                },
                {
                    "type": "context",
                    "elements": [{
                        "type": "mrkdwn",
                        "text": "호스트: `%s` | 시각: %s"
                    }]
                }
            ]
        }]
    }' "$color" "$emoji" "$level" "$target" "$message" "$HOSTNAME_SHORT" "$ts")

    # curl로 전송, 타임아웃 설정
    local http_code
    http_code=$(timeout "$SLACK_TIMEOUT" curl \
        -s \
        -o /dev/null \
        -w "%{http_code}" \
        -X POST \
        -H "Content-Type: application/json" \
        -d "$payload" \
        "${SLACK_WEBHOOK_URL}" 2>/dev/null) || http_code="000"

    if [[ "$http_code" == "200" ]]; then
        echo "[NOTIFY] Slack 알림 전송 성공 [$level] $target"
    else
        echo "[NOTIFY] Slack 알림 전송 실패 (HTTP $http_code)" >&2
    fi
}

# ──────────────────────────────────────────
# 사용 예시 (직접 실행 시 데모)
# ──────────────────────────────────────────
if [[ "${BASH_SOURCE[0]}" == "${0}" ]]; then
    echo "=== Slack 알림 모듈 데모 ==="
    echo "SLACK_WEBHOOK_URL 환경변수를 설정한 뒤 아래 함수를 호출하세요:"
    echo '  slack_notify "CRIT" "nginx" "서비스 다운 — 자동 재시작 실패"'
    echo '  slack_notify "OK"   "nginx" "서비스 복구 완료"'
    echo ""

    # 실제 Webhook URL이 있으면 테스트 메시지 전송
    if [[ -n "${SLACK_WEBHOOK_URL:-}" ]]; then
        slack_notify "INFO" "test" "헬스체크 시스템 알림 테스트 메시지입니다"
    fi
fi
EOF

sudo chmod +x /opt/healthcheck/notify.sh

# check_services.sh 상단에 추가
source /opt/healthcheck/notify.sh

# check_and_recover 함수 실패 시 알림 호출
if ! systemctl restart "$service" 2>>"$LOG_FILE"; then
    log "ERROR" "$service 재시작 실패"
    slack_notify "CRIT" "$service" "자동 재시작 실패 — 수동 점검 필요"
    return 1
fi

# 현재 crontab 확인
crontab -l

# crontab 편집
crontab -e

# 환경변수 설정 (cron 전용)
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
SLACK_WEBHOOK_URL=https://hooks.slack.com/services/YOUR/WEBHOOK/URL

# 5분마다 서비스 헬스체크
*/5 * * * * /opt/healthcheck/check_services.sh >> /var/log/healthcheck/cron.log 2>&1

# 10분마다 리소스 체크
*/10 * * * * /opt/healthcheck/check_resources.sh >> /var/log/healthcheck/cron.log 2>&1

# 3분마다 HTTP 엔드포인트 체크
*/3 * * * * /opt/healthcheck/check_endpoints.sh >> /var/log/healthcheck/cron.log 2>&1

sudo tee /etc/logrotate.d/healthcheck > /dev/null << 'EOF'
/var/log/healthcheck/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    create 0640 root root
}
EOF

# Ubuntu / Debian
grep CRON /var/log/syslog | tail -20

# RHEL / CentOS
grep cron /var/log/cron | tail -20

# systemd 기반
journalctl -u cron --since "1 hour ago"