AI를 PM·운영 보조로 — 작업별 라우팅과 안전수칙

2026년 AI 활용의 핵심을 한 문장으로 요약하면 이렇습니다. "LLM 하나를 고르는 게 아니라, 작업별로 모델·도구를 라우팅한다." 성공하는 팀은 한 챗봇에 모든 걸 맡기지 않고, 일의 성격(긴 문서 분석인지·범용 초안인지·출처 있는 사실 확인인지)에 따라 능력·지연·비용으로 도구를 나눠 씁니다. 엔지니어가 워크로드에 맞춰 서버·캐시·DB를 나눠 쓰는 것과 같은 발상입니다.

IT PM 업무는 의외로 종류가 많습니다 — 회의록 정리, 주간 보고, RFP 검토, 장애 보고서, 벤더 비교, 협력사 커뮤니케이션. 이 각각에 "대체로 잘 맞는" AI가 다릅니다. 아래는 그 라우팅 지도입니다.

제품 기능은 빠르게 바뀌므로, 절대적 우열이 아니라 "대체로 이런 작업에 잘 맞는다"는 경향으로 받아들이세요.

핵심 교훈 한 줄: "가장 좋아하는 데모가 아니라, 가장 비싼 실수를 기준으로 도구를 골라라." 고객 보고에 들어갈 RFP 분석이라면 장문 처리·근거 추적·구조화 출력 능력을 실제 문서로 평가하고, 빠른 사실 확인이라면 인용이 원문을 정확히 뒷받침하는지 검증합니다. 제품명보다 업무 요구사항·데이터 처리 조건·검증 절차가 먼저입니다.

라우팅은 "어느 회사 AI냐"에서 끝나지 않습니다. 같은 모델군 안에도 3단계가 있습니다. 주요 LLM은 공통적으로 이런 구조입니다.

라우팅 사고의 실전 예: "장애 1건 요약은 저렴한 모델로, RFP 100쪽 분석은 최고 성능 모델로." 모든 일을 최고 모델에 맡기면 느리고 비싸고, 모든 일을 저렴한 모델에 맡기면 중요한 분석에서 실수가 납니다. 일의 무게에 모델 무게를 맞추는 것이 라우팅입니다.

많은 사람이 생성형 AI를 "더 똑똑한 검색"으로 씁니다. 그런데 검색은 "존재하는 사실을 찾아 주는 것"이고, 생성형 AI는 "그럴듯한 문장을 만들어 주는 것"입니다. 이 차이를 모르면 거짓을 사실로 착각하게 됩니다.

PM·운영 업무에서 AI의 진짜 쓸모는 반복되고, 형식이 정해져 있고, 사람이 처음부터 쓰면 지치는 일을 빠르게 초안화하는 것입니다.

핵심은 한 문장입니다. AI는 초안을 빠르게, 사람은 사실과 책임을 확실하게. AI가 만든 결과는 "다 된 답"이 아니라 "사람이 다듬을 재료"입니다.

같은 AI라도 어떻게 시키느냐에 따라 결과가 크게 달라집니다. "회의록 정리해 줘"는 막연하지만, 누구처럼, 어떤 상황에서, 무엇을 지키며, 어떤 모양으로 만들지를 알려 주면 바로 쓸 수 있는 초안이 나옵니다. 이 네 가지가 좋은 프롬프트의 4요소입니다.

이 넷을 한 줄로 조합하면 이렇게 됩니다.

[역할] 너는 IT 운영팀 PM 보조다.
[맥락] 아래는 주간 운영 회의 메모이고, 임원 보고용 요약이 필요하다.
[제약] 메모에 있는 사실만 쓰고 추측은 하지 마라. 숫자·고유명사는 바꾸지 마라.
[출력형식] 표로 정리해라. 열은 '항목 / 현황 / 다음 조치', 5행 이내.
(여기에 회의 메모 본문 — 단, 민감정보는 제거하거나 가상값으로)

특히 제약에 "추측 금지·사실만"을 넣으면 할루시네이션을 줄이는 데 도움이 되고, 출력형식을 정하면 결과를 바로 문서에 붙일 수 있어 재가공 시간이 줄어듭니다.

생성형 AI에 무언가를 입력하는 순간, 그 내용은 외부 서비스의 서버로 전송됩니다. 회사·고객사의 민감정보를 그대로 넣으면 정보 유출, 계약 위반, 개인정보보호법 위반으로 이어질 수 있습니다. 그래서 입력 전에 이 정보가 나가도 되는 것인가를 한 번 멈추고 분류하는 습관이 필요합니다.

실무에서는 이렇게 합니다. 고객사 이름은 'A사', 단가는 'XXX원', 로그의 IP·계정은 가상값으로 바꿔 입력합니다. 형식과 문장만 AI에게 다듬게 하고, 진짜 값은 결과를 받은 뒤 사람이 채워 넣습니다. 그러면 AI의 도움을 받으면서도 민감정보는 회사 밖으로 나가지 않습니다.

회사마다 규정이 다릅니다. 사내 AI 사용 정책(어떤 도구를 허용하는지, 무엇을 입력해도 되는지, 승인이 필요한지)을 먼저 확인하는 것이 모든 것에 앞섭니다.

사내 AI 정책을 먼저 확인하라는 원칙까지 배웠다면, 한 층 더 들어갈 질문이 있습니다 — 그 정책이 현실에서 실제로 작동하는가입니다. 한국 기업, 특히 폐쇄망·망분리 환경의 SI/SM 현장에서 AI 정책은 종종 역설에 부딪힙니다.

• 전면 금지는 사용을 없애지 않고 숨깁니다: 승인된 도구 없이 금지만 있는 조직에서, 마감에 몰린 실무자는 개인 스마트폰으로 화면을 찍어 개인 계정 AI에 넣습니다. 이것이 **그림자 AI(shadow AI)**입니다 — 회사가 파악도, 로깅도, 마스킹 교육도 할 수 없는 경로로 가장 민감한 데이터가 나갑니다. 통제된 허용(승인 도구 + 입력 기준 + 사용 기록)이 전면 금지보다 실제 유출 위험이 낮은 이유입니다.
• 검증 비대칭 — 판별할 수 없는 사람이 AI를 쓸 때: "사실은 사람이 확인한다"에는 숨은 전제가 있습니다. 그 사람이 맞고 틀림을 판별할 수 있어야 한다는 것. 도메인 지식이 없는 신입이 AI 산출물을 받으면 그럴듯함과 맞음을 구분할 수 없어, 검증 단계가 형식적으로 통과됩니다. AI는 실력의 증폭기이지 대체재가 아닙니다 — 그래서 AI 산출물의 최종 검토자는 그 주제를 AI 없이도 검토할 수 있는 사람이어야 합니다.
• 자동화 편향 — 검증한다는 믿음과 검증하는 행동은 다릅니다: 사람에게는 기계가 낸 결과를 과신하는 인지 편향(automation bias)이 있고, 마감 압박 아래에서 검증은 훑어보기로 퇴화합니다. 의지에 맡기지 말고 절차로 강제합니다 — 숫자·고유명사의 원본 대조를 체크리스트 항목으로 만들고, 대외 산출물은 작성자가 아닌 다른 사람이 한 번 더 확인하게 합니다.

한 가지 더 — 산출물에 AI 사용 여부를 표시하는 팀 규칙은 생각보다 강력합니다. 검토자가 어디를 의심해야 하는지 알게 되고, 'AI가 쓴 초안'이라는 사실이 숨겨진 채 신뢰만 이전되는 것을 막아 줍니다.