AI가 쓴 보고서 초안, 회의록 요약, 민원 답변은 빠르고 그럴듯합니다. 그래서 위험합니다 — 틀린 숫자나 지어낸 법령도 똑같이 그럴듯하게 나오기 때문입니다. 이 안내서는 AI 결과를 업무에 쓰기 직전 1분에 점검하는 표준 체크리스트입니다. 모든 AI 활용 레시피가 마지막에 기대는 "사람 검토" 단계를 한 장으로 정리했습니다.
- AI 결과에서 원자료와 대조할 숫자·날짜·이름을 식별할 수 있습니다.
- 오류의 영향에 따라 pass·needs changes·block을 구분할 수 있습니다.
- 출처 없는 단정과 권한 없는 약속을 찾아 수정 요청을 작성할 수 있습니다.
- 최종 제출 전에 사람 검토 결과를 짧게 기록할 수 있습니다.
배경지식
AI가 만든 문장은 주장과 표현이 한꺼번에 섞여 있습니다. 표현은 문장이 자연스러운지를 말하고, 주장은 숫자·날짜·원인처럼 사실 확인이 필요한 내용을 말합니다. 포장이 반듯한 상자도 송장을 대조해야 내용물이 맞는지 알 수 있듯, 문장이 매끄러워도 주장은 원자료와 맞춰 봐야 합니다.
대조할 때는 AI가 쓴 문장을 작은 단위로 나눕니다. "지난달보다 출동이 늘어 예방 활동을 강화해야 한다"에는 증감 수치, 비교 기간, 원인 해석, 행동 제안이 따로 들어 있습니다. 수치가 맞아도 원인과 제안까지 자동으로 맞아지는 것은 아닙니다.
세 판정은 문장 점수가 아니라 다음 행동을 정하는 신호입니다. 고칠 곳이 없으면 pass, 원자료로 고칠 수 있으면 needs changes, 개인정보·위험한 단정·권한 없는 자동 실행처럼 그대로 진행하면 안 되는 경우는 block입니다. 어느 판정이든 마지막 승인은 사람이 맡습니다.
왜 1분이 필요한가 — 그럴듯함의 함정
사람은 모르는 걸 말할 때 목소리가 흔들리거나 "아마"를 붙입니다. 그 망설임이 우리에게 "이건 확인해 봐야겠다"는 신호를 줍니다. AI에는 그 신호가 없습니다. 맞는 답도, 지어낸 답도 똑같이 매끄럽고 자신 있게 나옵니다.
기술적으로 보면 AI 언어모델은 "맞는 말"이 아니라 "그럴듯한 말"을 잇도록 만들어졌습니다(프롬프트 작성 기초에서 다룬 확률 예측의 성질입니다). 문장이 매끄러운 것과 사실이 맞는 것은 다른 문제인데, 겉보기로는 구별되지 않습니다. 그래서 "읽어 보니 그럴듯하다"를 통과 기준으로 쓰면, 그럴듯하게 지어낸 오류가 그대로 결재에 올라갑니다.
1분 점검은 바로 이 함정을 겨냥합니다. 기준을 "그럴듯한가"에서 "원자료와 대조되는가"로 바꾸는 것입니다. 매끄러움은 판정 근거가 아닙니다 — 숫자·출처·이름이 원본과 맞는지만 봅니다. 이 한 끗 차이가 사고를 막습니다.
가상 상황: 마감 5분 전의 요약본
가상의 상황을 하나 들어 보겠습니다. 상급자 보고 마감 5분 전, AI에게 회의록을 요약시켰더니 깔끔한 세 문단이 나왔습니다. "월별 출동 120건, 전년 대비 8% 증가"라는 문장도 있습니다. 숫자까지 들어가니 더 믿음직해 보입니다.
그런데 그 8%는 어디서 나왔을까요? 회의록 원문에 증감률이 없었다면, AI가 "있을 법한" 수치를 채운 것입니다. 그대로 보고되면 틀린 숫자가 기관의 공식 기록이 됩니다. 무서운 건 이 문장이 다른 문장과 똑같이 매끄러워서, 다시 읽어도 눈에 띄지 않는다는 점입니다.
이럴 때 1분 점검이 하는 일은 단순합니다. "이 숫자, 원자료 어디에 있나?"를 한 번 묻는 것입니다. 원자료에 없으면 매끄러움과 상관없이 needs changes 또는 block입니다.
가상 사례: 점검 메모가 완료 보고로 바뀐 경우
다음은 실제 시설·점검과 무관한 가상 사례입니다. 예방업무 담당자는 합성 점검 메모를 AI로 요약했습니다. 원문에는 "현장 확인 필요"라고 적혀 있는데, 출력은 "점검을 완료했고 이상이 없다"고 바뀌었습니다. 짧고 단정적인 문장이라 보고서에는 더 잘 어울려 보입니다.
담당자는 문장을 행위, 상태, 판단으로 나눠 원문과 대조합니다. 실제로 확인한 행위도, 이상 없음이라는 판단도 근거가 없으므로 pass가 아닙니다. 완료 보고로 사용하지 않고 block으로 기록한 뒤, 원문의 "현장 확인 필요"로 되돌립니다.
AI가 표현을 다듬는 과정에서 미확정 상태를 확정 상태로 바꾼 것이 실패 원인입니다. 담당자는 실제 점검 기록과 승인 절차를 확인하기 전에는 상태를 확정하지 않습니다.
30초 빠른 점검
기억할 것은 "그럴듯함"이 아니라 "대조"입니다. 아래 다섯 가지는 모두 "원자료와 맞는가"를 묻습니다. 무엇을 제출하든, 먼저 이 다섯 가지를 봅니다.
- [ ] 숫자, 날짜, 이름을 원자료와 대조했습니까? - [ ] 출처 없는 구체적 문장이 없습니까? - [ ] 개인정보와 내부정보가 결과물에 섞이지 않았습니까? - [ ] AI 보조 작성 표시가 필요하지 않은지 확인했습니까? - [ ] 사람이 최종 검토했다는 절차가 남습니까?
외부 제출·공식 문서라면 다섯 가지 더
기관 밖으로 나가거나 공식 문서가 된다면 위 점검에 더해 확인합니다.
- [ ] 법령·규정 인용은 원문을 직접 열어 조문 번호와 내용을 확인했습니까? - [ ] 단정 표현 중 책임질 수 없는 문장을 "확인 필요"로 바꾸었습니까? - [ ] AI에게 "이 보고서에 빠진 항목이 있습니까?"라고 되물어 누락을 확인했습니까? - [ ] 결재·발송 책임이 사람에게 있는지 확인했습니까? - [ ] 소속 기관의 보안·개인정보·AI 활용 표시 기준을 따랐습니까?
세 가지 판정 — pass · needs changes · block
점검 결과는 항상 셋 중 하나입니다.
| 판정 | 기준 | 다음 행동 |
|---|---|---|
| pass | 핵심 사실·숫자·날짜·이름·출처가 원자료와 일치하고, 개인정보·내부정보가 없으며, 법령·정책 표현이 원문 범위를 넘지 않음 | 검토 기록을 남기고 결재·제출 절차로 |
| needs changes | 출처 표기가 빠졌거나 표현이 과도하지만 원자료로 고치면 해결됨 | 수정 요청 후 같은 항목을 다시 검토. 수정 전 제출하지 않음 |
| block | 개인정보·실제 사건 정보·내부자료·키가 포함됐거나, 법령·통계·안전 판단이 틀렸거나, 코드가 삭제·전송 등 위험 동작을 함 | 사용 중단, 합성 예시로 대체. 필요하면 담당자·보안·법무로 |
환각을 의심해야 하는 신호
다음이 보이면 원자료를 다시 펼칩니다.
- 출처 없이 지나치게 구체적입니다 (예: 근거 없는 "전국 평균 7.3분")
- 망설임 없이 법령을 단정합니다 (과한 확신)
- 주지 않은 부서명·일정·인명이 등장합니다 (입력에 없던 내용 혼입)
- 목차·형식은 완벽한데 내용은 일반론뿐입니다 (형식만 채운 빈 보고서)
이 신호들의 공통점은 하나입니다 — 입력에 없던 것이 출력에 나타났다는 것. 요약·정리는 있는 것을 줄이는 일이지 없는 것을 채우는 일이 아닙니다. 없던 숫자·이름·조문이 채워졌다면, 그게 곧 환각 신호입니다.
점검을 직접 해보기
한 문장을 실제로 점검해 보겠습니다. 아래는 가상의 AI 요약 문장입니다.
관내 화재는 최근 3년간 매년 12%씩 증가했으며, 관련 법령 제△조에 따라 소방안전관리자 선임이 의무입니다.
이 문장을 30초 점검에 넣으면 두 곳이 걸립니다(조문 번호는 자리표시자이며 실제 법령이 아닙니다).
- "매년 12%": 원자료에 이 증감률이 있나? 없으면 → 출처 없는 구체 수치, needs changes.
- "제△조에 따라 … 의무입니다": 법령 단정입니다. 국가법령정보센터 원문에서 조문·시행일을 확인하기 전에는 → block 후보.
점검 후 고친 문장은 이렇게 됩니다.
관내 화재 추세는 [원자료 확인 필요]. 소방안전관리자 선임 근거는 [○○법 제△조 — 원문 확인 필요]로 표시하고, 확인 후 확정한다.
before는 매끄럽지만 근거가 없고, after는 투박하지만 어디를 확인할지가 분명합니다. 점검은 문장을 예쁘게 만드는 일이 아니라, 확인할 곳을 드러내는 일입니다.
숫자·법령만 문제가 아닙니다. 다른 유형을 하나 더 보겠습니다 — 행정 문안에서 자주 나오는 '과잉 약속'입니다.
신청서를 제출하시면 즉시 승인되어 다음 날 교육을 받으실 수 있습니다.
- "즉시 승인": 실제로 자동 승인인가, 담당자 확인 단계가 있나? 권한 없는 약속이면 → block.
- "다음 날": 근거 있는 일정인가? 원자료·규정에 없으면 → needs changes.
숫자도 조문도 없지만 점검의 질문은 똑같습니다: "이 단정, 무엇에 근거하나?" 원자료·규정으로 확인되지 않는 단정은 매끄러워도 통과가 아닙니다. 점검은 이렇게 모든 종류의 "출처 없는 확신"을 같은 방식으로 걸러 냅니다.
업무별 점검 예시
| 업무 | AI가 쓴 문장(예) | 점검 포인트 | 판정 |
|---|---|---|---|
| 행정문안 | 교육 신청은 접수 즉시 승인됩니다 | 자동 승인인지, 담당자 확인 단계가 있는지 | 근거 없으면 needs changes · 권한 없는 약속이면 block |
| 법령근거 | 관련 법령 제○조에 따라 ○일 이내 처리해야 합니다 | 국가법령정보센터에서 법령명·조문번호·시행일 확인 | 조문이 틀리면 block · 표현만 과하면 needs changes |
| 통계표 | 월별 출동 건수 합계 120건 | 원자료 행 수·제외 조건·합계·총계 재계산 | 일치·출처 있으면 pass · 합계 불일치면 block |
| 코드산출물 | CSV를 읽어 보고서 표 생성 | 합성·공개 데이터만 쓰는지, 키·위험 명령 없는지 | 비밀값·파괴 명령 있으면 block · 주석 부정확하면 needs changes |
검토 기록을 남기기
판정만으로 끝내지 말고 짧게라도 기록을 남깁니다. 이 기록이 "사람이 검토했다"는 증거입니다.
[대상] 문서/목적/공개 범위: [AI 사용] 도구 / 입력 데이터 등급(합성·공개·내부·개인정보 포함 여부) / AI가 맡은 일: [검토 결과] 숫자·날짜·이름 대조 / 출처·법령 원문 확인 / 개인정보 확인 / 단정 표현 수정 / AI 표시: [판정] pass / needs changes / block / 수정할 항목 / 검토자 / 확인일:
외부 공개·제출용 문서에는 AI 보조 작성 사실을 표시합니다.
본 결과물 초안은 생성형 AI의 보조로 작성되었습니다. 제출·공개 전 반드시 사람이 내용을 검토·수정해야 합니다.
흔한 실수
같은 함정에 자주 빠집니다.
- "대체로 맞아 보임"으로 pass — 그건 판정이 아닙니다. 셋 중 하나로 분명히 정하세요.
- block을 실패로 여기기 — block은 사고를 막은 기록입니다. 되레 잘한 일입니다.
- 점검을 미루기 — "나중에 확인하겠다"는 대개 확인되지 않습니다. 내보내기 직전이 마지막 기회입니다.
- 개인정보를 점검으로 걸러 내려 하기 — 애초에 넣지 않는 게 원칙입니다. 넣은 뒤 거르는 건 이미 늦습니다 → 개인정보, AI에 넣기 전에 점검하기.
이 점검은 사슬의 마지막 고리입니다. 앞 단계를 탄탄히 하면 걸리는 일이 줄어듭니다.
용어 한 줄 사전
| 용어 | 한 줄 설명 |
|---|---|
| 원자료 | AI 출력과 대조하는 최초 기록·공식 원문입니다. |
| 주장 | 숫자·날짜·원인처럼 사실 확인이 필요한 문장 요소입니다. |
| 근거 | 주장이 맞는지 확인할 수 있는 원자료의 위치입니다. |
| pass | 필수 대조를 마쳐 다음 사람 검토 단계로 넘길 수 있는 판정입니다. |
| needs changes | 원자료로 고친 뒤 다시 검토해야 하는 판정입니다. |
| block | 수정·확인 전에는 제출이나 실행을 멈춰야 하는 판정입니다. |
자주 묻는 질문
Q. 1분 안에 모든 사실을 확인할 수 있나요?
확인할 항목을 찾아 판정하는 데 초점을 둡니다. 원문 확인에 시간이 더 필요하면 needs changes나 block으로 두고, 확인이 끝난 뒤 다시 검토합니다.
Q. 오탈자 하나도 block인가요?
표현만 고치면 되고 사실·안전·권한에 영향이 없다면 needs changes로 처리할 수 있습니다. 개인정보 노출이나 잘못된 공식 판단처럼 진행 자체가 위험한 경우는 block입니다.
Q. AI가 출처 링크를 달았으면 확인된 것인가요?
아닙니다. 링크가 실제 원문인지, 문장이 그 원문의 범위와 맞는지 사람이 직접 열어 대조해야 합니다. 링크의 존재와 근거의 일치는 다른 문제입니다.
Q. 검토자가 AI를 잘 알아야 하나요?
모델 내부를 알 필요보다 업무 원자료와 승인 경계를 아는 것이 중요합니다. 검토자는 숫자·이름·근거·권한을 원래 기록에서 찾을 수 있어야 합니다.
핵심 정리
- 매끄러운 표현과 사실이 맞는 주장을 구분해 봅니다.
- 숫자·날짜·이름·출처·단정은 원자료의 위치와 대조합니다.
- 세 판정은 다음 행동을 정하며 block은 사고를 막는 정상 절차입니다.
- AI 결과는 초안이고 제출·발송·공개 책임은 사람에게 있습니다.
다음 단계
- 프롬프트 작성 기초 — 원문 밖 내용을 만들지 않도록 요청 단계에서 조건을 거는 법을 익힙니다.
- 소방 법령·SOP, RAG로 근거 있게 답하기 — 반복 질의에서 검색 근거를 답변과 연결하고 사람 검토로 넘기는 단계로 확장합니다.
- 법령 근거 확인 브리프 — 법령 주장을 공식 원문 후보와 확인표로 고정하는 절차로 이어집니다.