#!/usr/bin/env bash
set -euo pipefail

SCRIPT_NAME="$(basename "$0" .sh)"
LOCK_FILE="/tmp/${SCRIPT_NAME}.lock"

# 락 획득 함수
acquire_lock() {
    # set -C (noclobber): 파일이 이미 있으면 리다이렉션 실패
    # 이것이 원자적 락 획득의 핵심
    if ( set -C; echo $$ > "$LOCK_FILE" ) 2>/dev/null; then
        echo "[INFO] 락 획득 성공 (PID: $$)"
        return 0
    else
        local existing_pid
        existing_pid=$(cat "$LOCK_FILE" 2>/dev/null || echo "unknown")

        # 기존 프로세스가 실제로 살아있는지 확인
        if [[ "$existing_pid" != "unknown" ]] && kill -0 "$existing_pid" 2>/dev/null; then
            echo "[ERROR] 다른 인스턴스가 실행 중입니다 (PID: $existing_pid)"
            return 1
        else
            # 죽은 프로세스의 락 파일 — 강제 획득
            echo "[WARN] 오래된 락 파일 발견. 강제 제거 후 획득합니다."
            rm -f "$LOCK_FILE"
            echo $$ > "$LOCK_FILE"
            return 0
        fi
    fi
}

# 락 해제 함수
release_lock() {
    if [[ -f "$LOCK_FILE" ]]; then
        local lock_pid
        lock_pid=$(cat "$LOCK_FILE" 2>/dev/null || echo "")
        if [[ "$lock_pid" == "$$" ]]; then
            rm -f "$LOCK_FILE"
            echo "[INFO] 락 해제 완료"
        fi
    fi
}

# EXIT trap에 락 해제 등록
trap release_lock EXIT

# 락 획득 시도
if ! acquire_lock; then
    exit 1
fi

echo "[INFO] 작업 시작..."
# 실제 작업 수행
sleep 5
echo "[INFO] 작업 완료"

#!/usr/bin/env bash
set -euo pipefail

LOCK_FILE="/tmp/my-automation.lock"

# flock 방식: 파일 디스크립터 기반 락
exec 200>"$LOCK_FILE"

if ! flock -n 200; then
    echo "[ERROR] 이미 실행 중인 인스턴스가 있습니다"
    exit 1
fi

echo $$ >&200
echo "[INFO] 락 획득 완료. 작업 시작..."

# 스크립트가 종료되면 flock이 자동으로 락을 해제함
# (파일 디스크립터가 닫힐 때)

# /etc/infra/servers/production.txt
# 형식: hostname [태그1,태그2,...]
# 빈 줄과 # 주석은 무시됨

# 웹 서버
web-01.prod.example.com  web,frontend
web-02.prod.example.com  web,frontend
web-03.prod.example.com  web,frontend

# 앱 서버
app-01.prod.example.com  app,backend
app-02.prod.example.com  app,backend

# DB 서버 (주의: 직접 접근 제한)
db-01.prod.example.com   db,database
db-02.prod.example.com   db,database

# 캐시 서버
cache-01.prod.example.com  cache,redis

# 서버 목록 파일에서 호스트명만 추출하는 함수
get_servers() {
    local server_file="${1:?서버 목록 파일 경로 필요}"
    local tag_filter="${2:-}"

    if [[ ! -f "$server_file" ]]; then
        echo "[ERROR] 서버 목록 파일 없음: $server_file" >&2
        return 1
    fi

    if [[ -n "$tag_filter" ]]; then
        # 특정 태그를 가진 서버만 추출
        grep -v '^\s*#' "$server_file" | \
            grep -v '^\s*$' | \
            awk -v tag="$tag_filter" '$2 ~ tag {print $1}'
    else
        # 모든 서버 추출
        grep -v '^\s*#' "$server_file" | \
            grep -v '^\s*$' | \
            awk '{print $1}'
    fi
}

#!/usr/bin/env bash
set -euo pipefail

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
source "${SCRIPT_DIR}/../lib/lib.sh"

SERVER_FILE="/etc/infra/servers/production.txt"
SSH_USER="${SSH_USER:-deploy}"
SSH_KEY="${SSH_KEY:-$HOME/.ssh/infra_ed25519}"
SSH_OPTS="-i $SSH_KEY -o StrictHostKeyChecking=no -o ConnectTimeout=10 -o BatchMode=yes"

# SSH 명령 실행 함수
ssh_exec() {
    local host="$1"
    local cmd="$2"
    local timeout="${3:-30}"

    log_info "[$host] 명령 실행: $cmd"

    local output exit_code
    if output=$(timeout "$timeout" ssh $SSH_OPTS "${SSH_USER}@${host}" "$cmd" 2>&1); then
        exit_code=0
        log_info "[$host] 성공: $output"
    else
        exit_code=$?
        log_error "[$host] 실패 (코드: $exit_code): $output"
    fi

    return $exit_code
}

# 순차 실행
run_sequential() {
    local server_file="$1"
    local cmd="$2"
    local failed_servers=()

    while IFS= read -r host; do
        [[ -z "$host" ]] && continue
        if ! ssh_exec "$host" "$cmd"; then
            failed_servers+=("$host")
        fi
    done < <(get_servers "$server_file")

    if [[ ${#failed_servers[@]} -gt 0 ]]; then
        log_error "실패한 서버: ${failed_servers[*]}"
        return 1
    fi

    log_info "모든 서버에서 명령 완료"
}

run_sequential "$SERVER_FILE" "uptime"

#!/usr/bin/env bash
set -euo pipefail

SSH_USER="deploy"
SSH_KEY="$HOME/.ssh/infra_ed25519"
PARALLEL_JOBS=10  # 동시 실행 수

run_parallel_xargs() {
    local server_file="$1"
    local cmd="$2"

    log_info "병렬 실행 시작 (동시 $PARALLEL_JOBS개)"

    # xargs -P: 병렬 프로세스 수
    # xargs -I{}: 플레이스홀더
    get_servers "$server_file" | \
        xargs -P "$PARALLEL_JOBS" -I{} \
        ssh -i "$SSH_KEY" \
            -o StrictHostKeyChecking=no \
            -o ConnectTimeout=10 \
            -o BatchMode=yes \
            "${SSH_USER}@{}" "$cmd" 2>&1 | \
        while IFS= read -r line; do
            echo "[$(date '+%H:%M:%S')] $line"
        done
}

run_parallel_xargs "/etc/infra/servers/production.txt" "df -h /"

#!/usr/bin/env bash
set -euo pipefail

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
source "${SCRIPT_DIR}/../lib/lib.sh"

SERVER_FILE="/etc/infra/servers/production.txt"
SSH_USER="deploy"
SSH_KEY="$HOME/.ssh/infra_ed25519"
RESULTS_DIR="/tmp/ssh-results-$(date +%Y%m%d-%H%M%S)"
PARALLEL_JOBS=20

run_parallel_gnu() {
    local cmd="$1"
    local tag_filter="${2:-}"

    require_command "parallel"
    mkdir -p "$RESULTS_DIR"

    log_step "GNU parallel 병렬 실행 시작"
    log_info "동시 실행: $PARALLEL_JOBS개"
    log_info "결과 저장: $RESULTS_DIR"

    get_servers "$SERVER_FILE" "$tag_filter" | \
        parallel \
            --jobs "$PARALLEL_JOBS" \
            --timeout 60 \
            --results "$RESULTS_DIR" \
            --joblog "$RESULTS_DIR/joblog.txt" \
            --tag \
            ssh \
                -i "$SSH_KEY" \
                -o StrictHostKeyChecking=no \
                -o ConnectTimeout=10 \
                -o BatchMode=yes \
                "${SSH_USER}@{}" "'$cmd'"

    log_info "병렬 실행 완료. 결과 분석 중..."
    analyze_results
}

analyze_results() {
    local success=0
    local failed=0
    local failed_hosts=()

    # joblog 파싱: 실패한 작업 찾기
    if [[ -f "$RESULTS_DIR/joblog.txt" ]]; then
        while IFS=$'\t' read -r seq host starttime runtime sendsize receivesize exitcode signal command; do
            [[ "$seq" == "Seq" ]] && continue  # 헤더 스킵
            if [[ "$exitcode" == "0" ]]; then
                ((success++))
            else
                ((failed++))
                # 호스트명 추출
                local host_name
                host_name=$(echo "$command" | grep -oP '[\w.-]+\.example\.com' || echo "unknown")
                failed_hosts+=("$host_name")
            fi
        done < "$RESULTS_DIR/joblog.txt"
    fi

    log_info "성공: $success대"
    if [[ $failed -gt 0 ]]; then
        log_error "실패: $failed대 — ${failed_hosts[*]}"
    fi
}

# 실행
run_parallel_gnu "uptime && df -h / | tail -1" "web"

#!/usr/bin/env bash
# disk-check-all.sh — 다수 서버 디스크 사용량 일괄 점검
set -euo pipefail

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
source "${SCRIPT_DIR}/../lib/lib.sh"

# ================================================================
# 설정
# ================================================================
SERVER_FILE="${SERVER_FILE:-/etc/infra/servers/production.txt}"
SSH_USER="${SSH_USER:-deploy}"
SSH_KEY="${SSH_KEY:-$HOME/.ssh/infra_ed25519}"
PARALLEL_JOBS="${PARALLEL_JOBS:-20}"
DISK_WARN_THRESHOLD="${DISK_WARN_THRESHOLD:-80}"   # % 경고 임계값
DISK_CRIT_THRESHOLD="${DISK_CRIT_THRESHOLD:-90}"   # % 위험 임계값
REPORT_FILE="/tmp/disk-report-$(date +%Y%m%d-%H%M%S).txt"
LOCK_FILE="/tmp/disk-check-all.lock"

# ================================================================
# 초기화
# ================================================================
trap cleanup EXIT
trap on_error ERR

cleanup() {
    [[ -f "$LOCK_FILE" ]] && rm -f "$LOCK_FILE"
}

on_error() {
    log_error "오류 발생 (라인 ${BASH_LINENO[0]}): ${BASH_COMMAND}"
}

acquire_lock() {
    if ! ( set -C; echo $$ > "$LOCK_FILE" ) 2>/dev/null; then
        log_error "이미 실행 중입니다 (PID: $(cat "$LOCK_FILE" 2>/dev/null))"
        exit 1
    fi
}

# ================================================================
# 단일 서버 디스크 점검 함수
# ================================================================
check_disk_single() {
    local host="$1"
    local ssh_opts="-i $SSH_KEY -o StrictHostKeyChecking=no -o ConnectTimeout=10 -o BatchMode=yes"

    # 모든 마운트 포인트의 디스크 정보 수집
    local disk_info
    if disk_info=$(timeout 15 ssh $ssh_opts "${SSH_USER}@${host}" \
        "df -h --output=target,size,used,avail,pcent | grep -v 'tmpfs\|devtmpfs\|Filesystem'" 2>/dev/null); then

        # 각 줄 파싱
        while IFS= read -r line; do
            [[ -z "$line" ]] && continue

            local mount size used avail pcent
            read -r mount size used avail pcent <<< "$line"

            # 퍼센트 숫자만 추출
            local usage_num
            usage_num="${pcent//%/}"

            # 임계값 초과 여부 판단
            local status="OK"
            if [[ "$usage_num" -ge "$DISK_CRIT_THRESHOLD" ]] 2>/dev/null; then
                status="CRITICAL"
            elif [[ "$usage_num" -ge "$DISK_WARN_THRESHOLD" ]] 2>/dev/null; then
                status="WARNING"
            fi

            # 결과 출력 (탭 구분)
            echo -e "${host}\t${mount}\t${size}\t${used}\t${avail}\t${pcent}\t${status}"
        done <<< "$disk_info"
    else
        echo -e "${host}\tERROR\t-\t-\t-\t-\tCONNECT_FAILED"
    fi
}

export -f check_disk_single
export SSH_USER SSH_KEY DISK_WARN_THRESHOLD DISK_CRIT_THRESHOLD

# ================================================================
# 메인 실행
# ================================================================
main() {
    require_command "parallel"
    acquire_lock

    log_step "디스크 점검 시작"
    log_info "서버 목록: $SERVER_FILE"
    log_info "경고 임계값: ${DISK_WARN_THRESHOLD}%, 위험 임계값: ${DISK_CRIT_THRESHOLD}%"

    local server_count
    server_count=$(get_servers "$SERVER_FILE" | wc -l)
    log_info "대상 서버: ${server_count}대"

    # 결과 파일 헤더
    {
        echo "=================================================================================================="
        echo "디스크 사용량 점검 보고서"
        echo "실행 시각: $(date '+%Y-%m-%d %H:%M:%S')"
        echo "대상 서버: ${server_count}대"
        echo "=================================================================================================="
        printf "%-30s %-15s %6s %6s %6s %6s %10s\n" \
            "호스트" "마운트" "전체" "사용" "여유" "사용률" "상태"
        echo "--------------------------------------------------------------------------------------------------"
    } > "$REPORT_FILE"

    # 병렬 실행
    local raw_results
    raw_results=$(get_servers "$SERVER_FILE" | \
        parallel \
            --jobs "$PARALLEL_JOBS" \
            --timeout 30 \
            --keep-order \
            check_disk_single {})

    # 결과 파싱 및 집계
    local warn_count=0 crit_count=0 error_count=0 ok_count=0

    while IFS=$'\t' read -r host mount size used avail pcent status; do
        printf "%-30s %-15s %6s %6s %6s %6s %10s\n" \
            "$host" "$mount" "$size" "$used" "$avail" "$pcent" "$status" \
            >> "$REPORT_FILE"

        case "$status" in
            "OK")           ((ok_count++)) ;;
            "WARNING")      ((warn_count++)) ;;
            "CRITICAL")     ((crit_count++)) ;;
            "CONNECT_FAILED") ((error_count++)) ;;
        esac
    done <<< "$raw_results"

    # 요약
    {
        echo "--------------------------------------------------------------------------------------------------"
        echo "요약:"
        echo "  정상(OK):        ${ok_count}건"
        echo "  경고(WARNING):   ${warn_count}건"
        echo "  위험(CRITICAL):  ${crit_count}건"
        echo "  접속 실패:       ${error_count}대"
        echo "=================================================================================================="
    } >> "$REPORT_FILE"

    cat "$REPORT_FILE"
    log_info "보고서 저장: $REPORT_FILE"

    # 위험 항목이 있으면 비정상 종료
    if [[ $crit_count -gt 0 ]]; then
        log_error "위험 임계값 초과 항목 발견: ${crit_count}건"
        exit 2
    elif [[ $warn_count -gt 0 ]]; then
        log_warn "경고 임계값 초과 항목 발견: ${warn_count}건"
        exit 1
    fi

    log_info "모든 서버 디스크 정상"
}

main "$@"

# /etc/cron.d/disk-check
0 9 * * * deploy /opt/infra-scripts/disk-check-all.sh 2>&1 | mail -s "[인프라] 디스크 점검 보고서" ops-team@example.com

#!/usr/bin/env bash
# server-init.sh — 신규 서버 초기화 자동화 (멱등적)
set -euo pipefail

SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
source "${SCRIPT_DIR}/../lib/lib.sh"

require_root

# ================================================================
# 패키지 설치 (멱등적)
# ================================================================
install_packages() {
    log_step "필수 패키지 설치"

    local packages=(
        "vim" "curl" "wget" "git" "htop" "iotop"
        "netstat" "tcpdump" "strace" "lsof"
        "jq" "python3" "python3-pip"
        "ntp" "chrony" "fail2ban"
    )

    # 패키지 관리자 감지
    if command -v apt-get &>/dev/null; then
        apt-get update -qq
        for pkg in "${packages[@]}"; do
            if ! dpkg -l "$pkg" 2>/dev/null | grep -q "^ii"; then
                apt-get install -y -qq "$pkg"
                log_info "설치: $pkg"
            else
                log_info "이미 설치됨: $pkg — 건너뜀"
            fi
        done
    elif command -v yum &>/dev/null; then
        for pkg in "${packages[@]}"; do
            if ! rpm -q "$pkg" &>/dev/null; then
                yum install -y -q "$pkg"
                log_info "설치: $pkg"
            else
                log_info "이미 설치됨: $pkg — 건너뜀"
            fi
        done
    else
        log_error "지원되지 않는 패키지 관리자"
        return 1
    fi
}

# ================================================================
# 배포 사용자 생성 (멱등적)
# ================================================================
setup_deploy_user() {
    log_step "deploy 사용자 설정"
    local deploy_user="deploy"
    local deploy_home="/home/${deploy_user}"
    local ssh_pub_key="ssh-ed25519 AAAAC3NzaC1lZDI1NTE5... deploy@infra"

    # 사용자 생성
    if ! id "$deploy_user" &>/dev/null; then
        useradd -m -s /bin/bash -G sudo "$deploy_user"
        log_info "사용자 생성: $deploy_user"
    else
        log_info "사용자 존재: $deploy_user — 건너뜀"
    fi

    # SSH 디렉토리 설정
    local ssh_dir="${deploy_home}/.ssh"
    if [[ ! -d "$ssh_dir" ]]; then
        mkdir -p "$ssh_dir"
        chmod 700 "$ssh_dir"
        chown "${deploy_user}:${deploy_user}" "$ssh_dir"
    fi

    # authorized_keys에 공개키 추가 (멱등적)
    local auth_keys="${ssh_dir}/authorized_keys"
    if ! grep -qF "$ssh_pub_key" "$auth_keys" 2>/dev/null; then
        echo "$ssh_pub_key" >> "$auth_keys"
        chmod 600 "$auth_keys"
        chown "${deploy_user}:${deploy_user}" "$auth_keys"
        log_info "SSH 공개키 추가 완료"
    else
        log_info "SSH 공개키 이미 존재 — 건너뜀"
    fi

    # sudo 권한 (비밀번호 없이 특정 명령만 허용)
    local sudoers_file="/etc/sudoers.d/${deploy_user}"
    if [[ ! -f "$sudoers_file" ]]; then
        cat > "$sudoers_file" << 'EOF'
deploy ALL=(ALL) NOPASSWD: /usr/bin/systemctl, /usr/bin/journalctl, /usr/bin/apt-get
EOF
        chmod 440 "$sudoers_file"
        log_info "sudo 권한 설정 완료"
    fi
}

# ================================================================
# 시스템 설정 (멱등적)
# ================================================================
configure_system() {
    log_step "시스템 설정"

    # 타임존 설정
    local desired_tz="Asia/Seoul"
    local current_tz
    current_tz=$(timedatectl show --property=Timezone --value 2>/dev/null || echo "")
    if [[ "$current_tz" != "$desired_tz" ]]; then
        timedatectl set-timezone "$desired_tz"
        log_info "타임존 설정: $desired_tz"
    else
        log_info "타임존 이미 설정됨: $desired_tz — 건너뜀"
    fi

    # 스왑 설정 (없을 때만)
    if ! swapon --show | grep -q .; then
        fallocate -l 2G /swapfile
        chmod 600 /swapfile
        mkswap /swapfile
        swapon /swapfile
        echo '/swapfile none swap sw 0 0' >> /etc/fstab
        log_info "스왑 2GB 생성 및 활성화"
    else
        log_info "스왑 이미 설정됨 — 건너뜀"
    fi

    # sysctl 커널 파라미터 (멱등적)
    local sysctl_conf="/etc/sysctl.d/99-infra.conf"
    if [[ ! -f "$sysctl_conf" ]]; then
        cat > "$sysctl_conf" << 'EOF'
# 인프라 플랫폼 최적화 설정
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.ip_local_port_range = 1024 65535
vm.swappiness = 10
fs.file-max = 1000000
EOF
        sysctl -p "$sysctl_conf" &>/dev/null
        log_info "커널 파라미터 설정 완료"
    else
        log_info "커널 파라미터 이미 설정됨 — 건너뜀"
    fi
}

# ================================================================
# 보안 설정 (멱등적)
# ================================================================
configure_security() {
    log_step "보안 설정"

    # fail2ban 활성화
    if systemctl is-active --quiet fail2ban; then
        log_info "fail2ban 이미 실행 중 — 건너뜀"
    else
        systemctl enable --now fail2ban
        log_info "fail2ban 활성화 완료"
    fi

    # SSH 보안 강화
    local sshd_config="/etc/ssh/sshd_config"
    local changed=false

    set_sshd_option() {
        local option="$1"
        local value="$2"
        if ! grep -qP "^\s*${option}\s+${value}" "$sshd_config"; then
            sed -i "s/^#*\s*${option}.*/${option} ${value}/" "$sshd_config"
            log_info "SSH 설정 변경: $option $value"
            changed=true
        fi
    }

    set_sshd_option "PermitRootLogin" "no"
    set_sshd_option "PasswordAuthentication" "no"
    set_sshd_option "X11Forwarding" "no"
    set_sshd_option "MaxAuthTries" "3"

    if [[ "$changed" == "true" ]]; then
        sshd -t && systemctl reload sshd
        log_info "SSH 데몬 재시작 완료"
    fi
}

# ================================================================
# 초기화 완료 마커
# ================================================================
mark_initialized() {
    local marker="/etc/infra-initialized"
    local version="1.0.0"

    if [[ ! -f "$marker" ]]; then
        cat > "$marker" << EOF
initialized_at=$(date '+%Y-%m-%d %H:%M:%S')
initialized_by=$(hostname)
script_version=$version
EOF
        log_info "초기화 마커 생성: $marker"
    else
        log_info "서버 이미 초기화됨 $(grep initialized_at "$marker" | cut -d= -f2)"
    fi
}

# ================================================================
# 메인
# ================================================================
main() {
    log_step "서버 초기화 시작: $(hostname)"
    log_info "OS: $(. /etc/os-release && echo "$PRETTY_NAME")"

    install_packages
    setup_deploy_user
    configure_system
    configure_security
    mark_initialized

    log_step "서버 초기화 완료: $(hostname)"
}

main "$@"