AI가 쓴 보고서 초안, 회의록 요약, 민원 답변은 빠르게 나오고 문장도 자연스럽습니다. 틀린 숫자나 원자료에 없는 조문도 같은 문장 속에 자연스럽게 섞여 나오기 때문에, 읽어서 자연스러운지로는 맞는지 판단할 수 없습니다. 이 안내서는 AI 결과를 업무에 쓰기 직전에 원자료와 대조하는 점검표입니다. 다른 안내서에 나오는 "사람 검토" 단계는 이 점검을 가리킵니다.
- AI 결과에서 원자료와 대조할 숫자·날짜·이름을 식별할 수 있습니다.
- 오류의 영향에 따라 pass·needs changes·block을 구분할 수 있습니다.
- 출처 없는 단정과 권한 없는 약속을 찾아 수정 요청을 작성할 수 있습니다.
- 최종 제출 전에 사람 검토 결과를 짧게 기록할 수 있습니다.
AI에게 맡기는 프롬프트
점검할 초안과 그 초안을 만든 원자료(회의록·메모·통계표·법령 원문)를 함께 붙여 새 대화에서 대조표를 받을 때 씁니다. 초안을 만든 대화에서 "빠진 것이 있습니까"라고 되묻는 것은 대조가 아닙니다. 문장마다 원자료 위치를 받아 두면 사람이 그 위치만 열어 확인할 수 있습니다.
초안이나 원자료에 신고자·환자 정보나 내부 자료가 있으면 생성형 AI 입력 확인으로 먼저 확인하고, 승인된 내부 환경에서 씁니다. 이름만 지운 실제 기록에도 환자 상태·사건번호·발생 정황이 남으므로, 외부 AI에는 실제 사건과 무관한 합성 예시나 공개 자료만 붙입니다.
[목적] 붙임 [초안]을 제출하기 전에 문장마다 [원자료]와 맞는지 대조합니다. (예: 보고용 출동 현황 요약) [자료] 붙임 파일: 초안 1개, 원자료 (파일 이름과 각각 무엇인지) [완성 기준] [초안]을 문장 단위로 나눠 표로 만들어 주세요. 열: 문장 | 숫자·날짜·이름·조문 | 원자료에서 찾은 위치 | 원자료 문구 그대로 원자료에서 찾지 못하면 위치 칸에 '없음'이라고 적고, 비슷한 문구로 대신 채우지 마세요. 원자료의 '확인 필요'·'예정'이 초안에서 '완료'·'확정'으로 바뀐 문장은 따로 표시해 주세요. [하지 말 것] 초안을 고쳐 쓰지 마세요. 법령 적용, 처분, 현장 대응이 맞는지는 판단하지 말고 확인할 원문과 담당 부서만 적어 주세요. 개인정보·비식별 기준이 필요하면 https://119-ai-studio.kr/kg/topic-privacy-deid.txt 에서 맥락을 먼저 파악하고, 근거는 원문 주소와 함께 정리해 주세요. 확인 기준은 https://119-ai-studio.kr/ai-output-review.html 안내서를 따릅니다. 작업 전에 빠진 정보가 있으면 먼저 질문해 주세요.
결과를 받은 뒤 확인할 것은 다음과 같습니다.
- 위치가 '없음'인 행과 숫자가 든 행은 사람이 원자료를 직접 열어 확인합니다. 대조표도 AI가 만든 결과입니다.
- '원자료 문구 그대로' 칸 몇 줄을 골라 실제 원자료의 글자와 같은지 봅니다.
- 상태가 바뀌었다고 표시된 문장은 원자료의 표현으로 되돌립니다.
- pass·needs changes·block 판정은 대조표를 본 사람이 정합니다.
배경지식
AI가 만든 문장에는 주장과 표현이 섞여 있습니다. 표현은 문장이 자연스러운지를 말하고, 주장은 숫자·날짜·원인처럼 사실 확인이 필요한 내용을 말합니다. 문장이 자연스러워도 주장은 원자료와 따로 맞춰 봐야 합니다. 주장마다 확인할 수 있는 원자료와 그 위치를 붙이는 일을 근거화라고 합니다.
대조할 때는 AI가 쓴 문장을 작은 단위로 나눕니다. "지난달보다 출동이 늘어 예방 활동을 강화해야 한다"에는 증감 수치, 비교 기간, 원인 해석, 행동 제안이 따로 들어 있습니다. 수치가 맞아도 원인과 제안까지 맞는 것은 아닙니다.
세 판정은 문장 점수가 아니라 다음 행동을 정하는 신호입니다. 고칠 곳이 없으면 pass, 원자료로 고칠 수 있으면 needs changes, 개인정보·위험한 단정·권한 없는 자동 실행처럼 그대로 진행하면 안 되는 경우는 block입니다. 어느 판정이든 마지막 승인은 사람이 맡습니다.
확인이 필요한 이유
요즘 AI는 "확인이 필요합니다", "확실하지 않습니다" 같은 단서를 붙이기도 합니다. 하지만 단서가 붙은 문장이 맞을 수도 있고, 단서 없는 문장이 틀릴 수도 있습니다. 그래서 단서가 있는지가 아니라 원자료와 대조되는지로 판정합니다.
문장이 자연스러운 것과 사실이 맞는 것은 따로 확인해야 합니다. "읽어 보니 그럴듯하다"를 통과 기준으로 쓰면 원자료에 없는 내용이 그대로 결재에 올라갑니다. 제출 전 확인에서는 숫자·출처·이름이 원자료와 맞는지만 봅니다.
가상 상황: 마감 직전의 요약본
가상의 상황을 하나 들어 보겠습니다. 보고 마감 직전에 AI에게 회의록을 요약하게 했더니 깔끔한 세 문단이 나왔습니다. "월별 출동 120건, 전년 대비 8% 증가"라는 문장도 있습니다. 숫자가 들어가니 더 믿음직해 보입니다.
그런데 회의록 원문에 증감률이 없었다면 AI가 있을 법한 수치를 채운 것입니다. 이 문장은 다른 문장과 똑같이 자연스러워서 다시 읽어도 구별되지 않고, 그대로 보고되면 틀린 숫자가 기관의 공식 기록이 됩니다.
이럴 때 제출 전 확인에서는 "이 숫자는 원자료 어디에 있나?"를 한 번 묻습니다. 원자료에 없으면 문장이 자연스러워도 needs changes 또는 block입니다.
가상 사례: 점검 메모가 완료 보고로 바뀐 경우
다음은 실제 시설·점검과 무관한 가상 사례입니다. 예방업무 담당자는 합성 점검 메모를 AI로 요약했습니다. 원문에는 "현장 확인 필요"라고 적혀 있는데, 출력은 "점검을 완료했고 이상이 없다"로 바뀌었습니다. 짧고 단정적인 문장이라 보고서에는 더 잘 어울려 보입니다.
담당자는 문장을 행위, 상태, 판단으로 나눠 원문과 대조합니다. 실제로 확인한 행위도, 이상 없음이라는 판단도 근거가 없으므로 pass가 아닙니다. 완료 보고로 사용하지 않고 block으로 기록한 뒤, 원문의 "현장 확인 필요"로 되돌립니다.
이 사례의 오류는 AI가 표현을 다듬으면서 미확정 상태를 확정 상태로 바꾼 데서 생겼습니다. 담당자는 실제 점검 기록과 승인 절차를 확인하기 전에는 상태를 확정하지 않습니다.
기본 확인 사항
아래 다섯 가지는 모두 원자료와 맞는지를 묻습니다. 무엇을 제출하든 먼저 이 다섯 가지를 봅니다.
- [ ] 숫자, 날짜, 이름을 원자료와 대조했습니까? - [ ] 출처 없는 구체적 문장이 없습니까? - [ ] 개인정보와 내부정보가 결과물에 섞이지 않았습니까? - [ ] 외부에 공개하는 문서라면 AI 보조 작성 표시를 소속 기관 기준에 맞게 넣었습니까? - [ ] 사람이 최종 검토했다는 절차가 남습니까?
AI에게 문장을 다듬게 했다면 원문과 고친 글을 비교해 숫자·이름·조건과 의무·가능·추정 표현이 그대로인지 한 번 더 봅니다. 비교에 쓰는 요청은 AI 문체 개선에 있습니다.
외부 제출·공식 문서의 추가 확인 사항
기관 밖으로 나가거나 공식 문서가 된다면 위 점검에 더해 확인합니다.
- [ ] 법령·규정 인용은 원문을 직접 열어 조문 번호와 내용을 확인했습니까? - [ ] 단정 표현 중 책임질 수 없는 문장을 "확인 필요"로 바꾸었습니까? - [ ] 주장마다 원자료 위치(쪽·조·행)를 붙인 대조표를 받아, 위치가 '없음'이거나 원문과 다른 줄을 고쳤습니까? - [ ] 결재·발송 책임이 사람에게 있는지 확인했습니까? - [ ] 소속 기관의 보안·개인정보·AI 활용 표시 기준을 따랐습니까?
대조표를 받는 프롬프트는 이 안내서 맨 앞에 있습니다.
세 가지 판정 — pass · needs changes · block
점검 결과는 항상 셋 중 하나입니다.
| 판정 | 기준 | 다음 행동 |
|---|---|---|
| pass | 핵심 사실·숫자·날짜·이름·출처가 원자료와 일치하고, 개인정보·내부정보가 없으며, 법령·정책 표현이 원문 범위를 넘지 않음 | 검토 기록을 남기고 결재·제출 절차로 |
| needs changes | 출처 표기가 빠졌거나 표현이 과도하지만 원자료로 고치면 해결됨 | 수정 요청 후 같은 항목을 다시 검토. 수정 전 제출하지 않음 |
| block | 개인정보·실제 사건 정보·내부자료·키가 포함됐거나, 법령·통계·안전 판단이 틀렸거나, 코드가 삭제·전송 등 위험 동작을 함 | 사용 중단, 합성 예시로 대체. 필요하면 담당자·보안·법무로 |
block으로 판정한 경우도 기록으로 남깁니다. 어디서 멈췄는지가 남아 있어야 같은 오류를 다음 요청 단계에서 미리 막을 수 있습니다.
환각을 의심해야 하는 신호
다음이 보이면 원자료를 다시 펼칩니다.
- 출처 없이 지나치게 구체적입니다 (예: 근거 없는 "전국 평균 7.3분")
- 망설임 없이 법령을 단정합니다
- 주지 않은 부서명·일정·인명이 등장합니다
- 목차·형식은 갖췄는데 내용은 일반론뿐입니다
- 링크가 열리지 않거나, 열려도 그 문장이 없습니다
- 첨부 문서의 쪽 번호를 인용했는데 그 쪽에 해당 내용이 없습니다
- 검색 결과의 발행일이 오래됐거나 개정 전 판입니다
이 신호들은 모두 입력에 없던 내용이 출력에 나타난 경우입니다. 요약·정리는 있는 내용을 줄이는 일이므로, 원자료에 없던 숫자·이름·조문이 나타났다면 원자료를 다시 확인합니다. 검색 기능이 켜진 AI의 답은 공개 자료 조사 묶음의 기준대로 원문을 열어 발행일과 맥락을 확인합니다.
점검을 직접 해보기
한 문장을 실제로 점검해 보겠습니다. 아래는 가상의 AI 요약 문장입니다.
관내 화재는 최근 3년간 매년 12%씩 증가했으며, 관련 법령 제△조에 따라 소방안전관리자 선임이 의무입니다.
이 문장을 기본 확인 사항으로 점검하면 두 곳이 걸립니다(조문 번호는 자리표시자이며 실제 법령이 아닙니다).
- "매년 12%": 원자료에 이 증감률이 있나? 없으면 출처 없는 구체 수치이므로 needs changes입니다.
- "제△조에 따라 … 의무입니다": 법령 단정입니다. 국가법령정보센터 원문에서 조문·시행일을 확인하기 전에는 block 후보입니다.
점검 후 고친 문장은 이렇게 됩니다.
관내 화재 추세는 [원자료 확인 필요]. 소방안전관리자 선임 근거는 [○○법 제△조 — 원문 확인 필요]로 표시하고, 확인 후 확정한다.
고친 문장은 덜 자연스럽지만 무엇을 어디서 확인할지가 드러납니다.
행정 문안에서 자주 나오는 과잉 약속도 같은 방법으로 봅니다.
신청서를 제출하시면 즉시 승인되어 다음 날 교육을 받으실 수 있습니다.
- "즉시 승인": 실제로 자동 승인인가, 담당자 확인 단계가 있나? 권한 없는 약속이면 block입니다.
- "다음 날": 근거 있는 일정인가? 원자료·규정에 없으면 needs changes입니다.
숫자도 조문도 없지만, 원자료나 규정으로 확인되지 않는 단정이므로 같은 방법으로 걸러 냅니다.
업무별 점검 예시
| 업무 | AI가 쓴 문장(예) | 점검 포인트 | 판정 |
|---|---|---|---|
| 행정문안 | 교육 신청은 접수 즉시 승인됩니다 | 자동 승인인지, 담당자 확인 단계가 있는지 | 근거 없으면 needs changes · 권한 없는 약속이면 block |
| 법령근거 | 관련 법령 제○조에 따라 ○일 이내 처리해야 합니다 | 국가법령정보센터에서 법령명·조문번호·시행일 확인 | 조문이 틀리면 block · 표현만 과하면 needs changes |
| 통계표 | 월별 출동 건수 합계 120건 | 원자료 행 수·제외 조건·합계·총계 재계산 | 일치·출처 있으면 pass · 합계 불일치면 block |
| 코드산출물 | CSV를 읽어 보고서 표 생성 | 합성·공개 데이터만 쓰는지, 키·위험 명령 없는지 | 비밀값·파괴 명령 있으면 block · 주석 부정확하면 needs changes |
검토 기록을 남기기
판정만으로 끝내지 말고 짧게라도 기록을 남깁니다. 이 기록이 사람이 검토했다는 근거가 됩니다. AI 결과물이 공문·보고서로 남을 때 AI 사용 기록을 어떻게 남길지는 공공기록물 관리에 관한 법률 카드를 보고 기록물관리 담당과 정합니다.
[대상] 문서/목적/공개 범위: [AI 사용] 도구 / 입력 데이터 등급(합성·공개·내부·개인정보 포함 여부) / AI가 맡은 일: [검토 결과] 숫자·날짜·이름 대조 / 출처·법령 원문 확인 / 개인정보 확인 / 단정 표현 수정 / AI 표시: [판정] pass / needs changes / block / 수정할 항목 / 검토자 / 확인일:
외부 공개·제출용 문서에는 소속 기관 기준에 따라 AI 보조 작성 사실을 표시합니다. 기관 기준 문구가 없을 때 쓸 수 있는 예는 다음과 같습니다.
본 결과물 초안은 생성형 AI의 보조로 작성되었습니다. 제출·공개 전 반드시 사람이 내용을 검토·수정해야 합니다.
흔한 실수
- "대체로 맞아 보임"으로 pass하기: 판정이 아닙니다. 셋 중 하나로 정합니다.
- 점검을 미루기: 나중에 확인하겠다고 넘긴 항목은 확인되지 않은 채 나가기 쉽습니다. 내보내기 직전에 봅니다.
- 개인정보를 점검으로 걸러 내려 하기: 처음부터 넣지 않는 것이 원칙입니다. 넣기 전 점검은 개인정보, AI에 넣기 전에 점검하기에 있습니다.
용어 한 줄 사전
| 용어 | 한 줄 설명 |
|---|---|
| 원자료 | AI 출력과 대조하는 최초 기록·공식 원문입니다. |
| 주장 | 숫자·날짜·원인처럼 사실 확인이 필요한 문장 요소입니다. |
| 근거 | 주장이 맞는지 확인할 수 있는 원자료의 위치입니다. |
| pass | 필수 대조를 마쳐 다음 사람 검토 단계로 넘길 수 있는 판정입니다. |
| needs changes | 원자료로 고친 뒤 다시 검토해야 하는 판정입니다. |
| block | 수정·확인 전에는 제출이나 실행을 멈춰야 하는 판정입니다. |
자주 묻는 질문
Q. 이 확인 사항으로 모든 사실을 확인할 수 있나요?
확인할 항목을 찾아 판정하는 데 초점을 둡니다. 원문 확인에 시간이 더 필요하면 needs changes나 block으로 두고, 확인이 끝난 뒤 다시 검토합니다.
Q. 오탈자 하나도 block인가요?
표현만 고치면 되고 사실·안전·권한에 영향이 없다면 needs changes로 처리합니다. 개인정보 노출이나 잘못된 공식 판단처럼 진행 자체가 위험한 경우는 block입니다.
Q. AI가 출처 링크를 달았으면 확인된 것인가요?
아닙니다. 링크가 열리는지, 열린 원문에 그 문장이 있는지, 발행일이나 개정일이 언제인지 사람이 직접 열어 확인합니다. 링크가 달려 있는 것과 문장이 그 원문으로 뒷받침되는 것은 따로 확인합니다.
Q. 검토자가 AI를 잘 알아야 하나요?
모델 내부를 아는 것보다 업무 원자료와 승인 경계를 아는 것이 중요합니다. 검토자는 숫자·이름·근거·권한을 원래 기록에서 찾을 수 있어야 합니다.
핵심 정리
- 문장이 자연스러운지와 주장이 맞는지는 따로 봅니다.
- 숫자·날짜·이름·출처·단정은 원자료의 위치와 대조하고, 대조표의 '없음' 행은 사람이 원자료를 열어 확인합니다.
- 세 판정은 다음 행동을 정하며, block으로 멈춘 경우도 기록으로 남깁니다.
- AI 결과는 초안이고 제출·발송·공개 책임은 사람에게 있습니다.
다음 단계
- AI에게 업무를 맡기는 프롬프트 기초 — 원자료 밖 내용을 만들지 않도록 요청 단계에서 조건을 거는 법을 익힙니다.
- 법령 근거 확인 브리프 만들기 — 법령 주장을 공식 원문 후보와 확인표로 정리하는 절차로 이어집니다.
- 소방 법령·SOP, RAG로 근거 있게 답하기 — 반복 질의에서 검색 근거를 답변과 연결하고 사람 검토로 넘기는 단계로 확장합니다.