AI 도입을 결정할 때 진짜 질문은 "이 AI가 답을 잘 만드는가"가 아니라, "그 답을 어떻게 검증하고, 개인정보를 어떻게 빼고, 운영 중 무엇이 잘못됐는지 어떻게 추적하는가"입니다. 공공기관 AI에서는 생성보다 검증이 핵심입니다. 이 안내서는 그 도구들을 목적별로 묶은 지도이며, 각 도구를 이 사이트의 기존 가이드와 연결합니다.
이 안내서를 끝내면 AI 도입 전에 "검증·비식별·추적"을 어디에 배치할지 알고, 각 단계에 맞는 도구를 고를 수 있습니다.
개인정보 비식별 — AI에 넣기 전
| 도구 | 무엇인지 | 소방 활용 |
|---|---|---|
| Presidio | 텍스트 속 개인정보를 탐지·마스킹하는 라이브러리 | 신고자 이름·전화·주소·차량번호를 LLM에 넣기 전 비식별화 |
→ 개인정보, AI에 넣기 전에 점검하기 가이드가 패턴·문맥·사람 3단 점검을 설명한다면, Presidio는 그중 정규식 단계를 더 넓은 패턴으로 자동화하는 도구입니다. 다만 Presidio도 만능이 아닙니다 — 한국어 이름·상세 주소·의료 정보는 놓칠 수 있으니, 자동 비식별 뒤에도 사람의 최종 확인을 생략하지 마세요.
문서를 AI 입력으로 바꾸기
| 도구 | 무엇인지 | 소방 활용 |
|---|---|---|
| MarkItDown | PDF·DOCX·PPTX 등을 Markdown으로 변환 | 법령·매뉴얼·지침 문서를 RAG·요약 입력 형태로 정리 |
| Unstructured | 표·혼합 포맷이 섞인 복잡한 문서를 구조화 파싱 | 스캔된 매뉴얼, 표 포함 보고서, 혼합 자료 정리 |
→ 소방 공공데이터·API 지도와 법령 근거 확인 브리프에서 모은 문서를 RAG 입력으로 바꿀 때 씁니다.
답변 품질을 회귀 테스트
| 도구 | 무엇인지 | 소방 활용 |
|---|---|---|
| promptfoo | 프롬프트·RAG·에이전트를 테스트·레드팀하는 CLI | 보고서·민원·SOP 답변의 환각·금칙어·권한 우회 회귀 테스트 |
| DeepEval | LLM을 pytest처럼 테스트하는 평가 프레임워크 | "근거 있는 답변인지"를 테스트 세트로 반복 검증 |
| Ragas | RAG 답변의 충실도·맥락 정밀도를 평가 | 법령·SOP 검색 답변의 faithfulness·context precision 점검 |
| Guardrails | LLM 입출력에 검증 가드·구조화 출력을 적용 | 법령 브리프·민원 답변의 필수 필드·금칙 조건 검증 |
→ AI 결과, 제출 전 1분 점검의 pass·needs·block을, 프롬프트를 고칠 때마다 자동 회귀로 돌리는 단계입니다.
운영 중 추적·관측
| 도구 | 무엇인지 | 소방 활용 |
|---|---|---|
| Opik | LLM 호출·RAG·에이전트 실행을 추적·평가·모니터링 | 내부 챗봇 답변 로그, 검색 결과, 실행 흐름 점검 |
| Phoenix | AI 관측성·평가 도구 | 답변 품질·관련성·검색 실패를 추적하는 실습 |
| Langfuse | LLM 호출·프롬프트·피드백을 추적·관리하는 관측 플랫폼 | 공공 챗봇 응답 품질·프롬프트 버전·사용자 피드백 추적 |
영상·텍스트 데이터 라벨링 — CV 학습 전
| 도구 | 무엇인지 | 소방 활용 |
|---|---|---|
| Label Studio | 텍스트·이미지·영상 라벨링 플랫폼 | 화재·연기 영상, 신고 텍스트, 위험물 표지 데이터셋 구축 |
| CVAT | 컴퓨터비전 어노테이션 도구 | CCTV·드론 영상 객체 탐지 학습용 바운딩박스 작업 |
| FiftyOne | 비전 데이터셋 검수·탐색 | 탐지 실패 사례·중복 이미지·라벨 품질 확인 |
→ 화재 영상에서 화염·연기 탐지하기의 학습 데이터 품질을 올리는 앞단계입니다.
▸ 소방 활용 포인트
공공기관 AI는 생성보다 검증이 핵심입니다. 도입 전에 "이 답을 어떻게 검증하고, 개인정보를 어떻게 빼고, 운영 중 무엇을 추적할지"를 먼저 정하고, 그 자리에 이 도구들을 배치하세요. 도구 이름보다 "왜 우리 업무에 쓰는가"가 먼저입니다.⚠️ 흔한 실수
도구는 보조입니다 — 모든 평가·비식별 결과는 사람이 최종 확인합니다. 실데이터·내부망에 붙일 때는 권한·보안·감사 로그를 함께 설계하고, 자체 호스팅 도구는 인증·업데이트 관리를 빠뜨리지 마세요.