외부 전송이 제한된 자료나 인터넷과 분리된 내부망에서 AI를 검토할 때는 모델을 기관 장비에서 실행하는 온프레미스 구성을 살펴봅니다. 자료를 내부에 두려면 생성 모델뿐 아니라 문서 추출·임베딩·검색·연결 도구·로그와 백업의 처리 위치도 확인해야 합니다. 로컬 앱을 설치했거나 API 주소가 내 컴퓨터를 가리킨다는 사실만으로 이 확인이 끝나지는 않습니다.
모델·장비·속도처럼 자주 바뀌는 정보와 합성 자료 실습은 로컬 AI에 있습니다. 이 안내서는 망분리 환경의 기관에서 내부 LLM을 운영하기 전에 정할 것과 확인할 것을 다룹니다.
- 추론·문서 처리·검색·외부 도구·로그·평가마다 처리 위치와 확인 방법을 정할 수 있습니다.
- 호환 API 연결과 업무 결과의 호환을 따로 검증할 수 있습니다.
- 같은 합성 업무 자료로 후보를 비교하고 함께 남길 조건을 정할 수 있습니다.
- 반입·갱신 기록, 되돌리는 방법, 단계별 승인 담당을 정할 수 있습니다.
AI에게 맡기는 프롬프트
내부 LLM 도입을 검토할 때 구성 요소별 확인표 초안을 받는 프롬프트입니다. 외부 AI에 맡길 때는 서버 주소·계정·내부 구성도와 실제 업무 자료를 넣지 않고 도구 이름과 공식 문서 주소만 줍니다. 내부 자료가 필요한 검토는 승인된 내부 환경에서 합니다.
[목적] 내부 장비에서 LLM을 운영하기 전에 정할 것을 확인표로 정리합니다. 정보화 담당과 정보보안 담당이 도입 검토에 씁니다. [자료] 쓰려는 구성 요소와 각 공식 문서 주소: (생성 모델, 실행기, 문서 추출, 임베딩, 검색, 외부 도구, 평가 도구, 로그·백업) 맡길 업무: (예: 내부 규정 문서를 근거로 답하는 질의응답) [완성 기준] - 구성 요소마다 처리 위치, 기본으로 외부와 통신하는 기능(사용 통계, 모델 내려받기, 클라우드 기능, 외부 판정 모델), 끄는 설정, 끈 뒤 확인 방법을 한 표로 정리해 주세요. - 반입·갱신 때 남길 기록과 이전 버전으로 되돌리는 방법을 목록으로 주세요. - 사실마다 근거 문서 주소를 붙이고, 문서에서 확인하지 못한 값은 [확인 필요]로 남겨 주세요. [하지 말 것] 보안성 검토 결과, 라이선스가 업무에 맞는지, 기관 규정의 적용은 판단하지 말고 확인할 원문과 담당 부서를 적어 주세요. 관련 법령·지침과 용어는 https://119-ai-studio.kr/kg/topic-privacy-deid.txt 에서 맥락을 먼저 파악하고, 근거는 원문 주소와 함께 정리해 주세요. 확인 기준은 https://119-ai-studio.kr/on-prem-llm.html 안내서를 따릅니다. 작업 전에 빠진 정보가 있으면 먼저 질문해 주세요.
결과를 받은 뒤 확인할 것은 다음과 같습니다.
- 외부 통신과 끄는 설정 칸의 문서 주소를 열어 같은 내용이 있는지 봅니다.
- 끄는 설정을 적용한 결과와 네트워크를 끊고 실행한 결과가 따로 적혀 있는지 봅니다.
- 보안성 검토 통과나 라이선스 판단으로 읽히는 문장이 없는지 봅니다.
설계 판단
온프레미스에서는 하드웨어·패치·모델 반입과 접근 권한을 기관이 직접 관리합니다. 배치 방식은 자료를 어디까지 내부에 둘지와 운영을 누가 맡을지에 따라 고릅니다.
| 방식 | 맞는 상황 | 트레이드오프 | 사람이 확인할 것 |
|---|---|---|---|
| 클라우드 기준선 유지 | 공개 자료·비민감 업무 | 제공자·네트워크·계약 조건에 의존 | 보낼 자료의 범위와 보존·파기 조건 |
| 온프레미스 전용 | 외부 연결이 없는 분리망, 비식별 후에도 외부 전송이 제한된 자료 | 모델·하드웨어·패치·반입을 직접 책임 | 처리 단계 전체의 실제 경로와 반입 절차 |
| 내부 서빙 서버 | 여러 부서의 동시 요청, 긴 문서 처리 | 장비·인증·로그를 운영할 인력이 필요 | 문맥 길이·동시 요청·응답 시간(기관 서버 경로) |
| 업무별 분리 | 민감 업무와 공개 자료 업무의 경계가 분명할 때 | 업무별 환경 구분과 평가·로그 구조가 복잡해짐 | 업무별로 정한 환경과 잘못 보낸 요청을 찾는 방법 |
배치 방식을 정하기 전에 다음 기관 문서를 확인합니다. 적용 범위와 절차는 원문과 기관 정보보안 담당에게 확인합니다.
- 공공부문 초거대 AI 도입·활용 가이드라인 2.0: 생성형 AI 도입 절차와 고려사항
- 국가·공공기관 AI보안 가이드북: 상용 AI 서비스를 쓸 때의 보안대책
- 행정기관 및 공공기관의 클라우드컴퓨팅서비스 이용 기준 및 안전성 확보 등에 관한 고시: 외부 클라우드를 쓰기 전의 안전성 검토와 저장정보 반환·파기
- 행정기관 및 공공기관 정보시스템 구축·운영 지침: 시스템을 새로 구축하거나 증설할 때의 보안성 검토와 감리
처리 단계별 데이터 경계
생성 모델이 내부에 있어도 다른 단계가 외부와 통신할 수 있습니다. 단계마다 처리 위치와 확인 방법을 정해 기록합니다. 개인 PC 기준의 같은 항목은 로컬 AI의 구성 요소별 처리 위치에 있습니다.
| 처리 단계 | 정할 것 | 확인 방법 |
|---|---|---|
| 추론 | 실제로 계산하는 모델과 장비 | 실행 중인 모델 이름·태그 확인. 같은 로컬 서버로 클라우드 모델을 부를 수 있음 |
| 문서 추출·임베딩·검색 | 단계별 처리 위치와 색인 저장 위치 | 단계마다 쓰는 모델과 서버를 따로 기록 |
| 외부 도구 | 웹 검색·플러그인·MCP 같은 연결 기능 | 쓰지 않는 기능은 끄고, 쓰는 기능은 접속 대상 기록 |
| 로그·백업 | 남는 내용, 보존 기간, 접근 권한, 폐기 | 본문이 남는 위치 확인. 접속기록은 개인정보의 안전성 확보조치 기준 확인 |
| 평가 | 판정에 쓰는 모델의 위치 | 외부 모델이 판정하면 평가 입력과 답변도 외부 전송 검토에 넣음 |
도구에는 기본으로 외부와 통신하는 기능이 있을 수 있습니다. Ollama의 클라우드 모델·웹 검색 기능을 끄는 설정은 로컬 AI의 Ollama 카드에 있으며, 이 설정은 연결한 다른 앱의 통신까지 막지 않습니다. vLLM 문서는 사용 통계 수집이 기본으로 켜져 있다고 적고 VLLM_NO_USAGE_STATS=1 같은 환경 변수로 끄는 방법을 안내합니다.
평가·문서 변환 도구는 안전한 AI 운영 도구에 정리돼 있습니다. 설정 이름은 판마다 바뀔 수 있으므로 설치할 때 공식 문서를 다시 보고, 끄는 설정을 적용한 결과와 네트워크를 끊고 실행한 결과를 따로 기록합니다.
모델 후보에서 기록할 것
모델 이름·크기·양자화 형식·필요한 메모리는 빠르게 바뀌므로 로컬 AI의 모델 목록과 메모리 계산에서 후보를 좁힙니다. 기관 검토에서는 원본 모델 ID·배포자·정확한 파일·실행기 판을 기록하고, 양자화한 파일은 그 파일로 따로 평가합니다. 배포본의 라이선스 원문을 보관하고, 업무에 맞는지는 기관 법무·정보화 담당이 확인합니다.
OpenAI 호환 API로 옮길 때
호환 API를 쓰면 기존 클라이언트 코드를 다시 쓸 수 있지만, Ollama 공식 문서는 OpenAI API의 일부를 지원한다고 설명합니다. base_url을 바꾼 뒤에는 다음을 합성 자료로 확인합니다.
| 확인 단계 | 확인할 내용 | 합성 자료로 할 시험 |
|---|---|---|
| 연결 | 실제 모델·파일·실행기 판·추론 위치 | 짧은 요청을 보내고 실행 중인 모델 확인 |
| 기능 | 구조화 출력·도구 호출·입력 형식 | 항목 추출 실습의 형식과 사실을 각각 대조 |
| 문맥 길이 | 실행기에 설정된 문맥 길이와 실제 입력 길이 | 시스템 지시·대화 기록·검색 근거를 합친 입력으로 서버 로그의 잘림 여부 확인 |
모델 카드의 최대 문맥 길이와 실행기에 설정된 길이는 다를 수 있습니다. 같은 Ollama 문서는 호환 API로는 문맥 길이를 정할 수 없다고 적고 있어, 서버 설정이나 모델 설정 파일에서 정합니다. RAG·분류 파이프라인을 옮길 때는 생성 모델 앞뒤의 처리 단계도 같이 확인합니다.
같은 업무 자료로 비교하기
RAG 운영 평가의 방식으로 같은 합성 입력과 기대 기준을 정해 후보와 기준선을 비교합니다. 외부 전송이 제한된 자료는 클라우드 비교에 쓰지 않고, 내부 기준선과 사람이 확인한 답안을 씁니다.
| 항목 | 비교할 기록 |
|---|---|
| 요약 | 필수 사실 보존, 원문에 없는 내용 추가, 이름·날짜·수량 오류 |
| 구조화 추출 | JSON 형식 유효성과 각 필드의 원문 일치 여부 |
| 근거 검색 | 필요한 문서 검색 성공, 인용 위치 일치, 근거 없을 때의 응답 |
| 사용 조건 | 첫 출력 대기·답변 완료 시간, 입력·출력 길이, 메모리와 실패 상황 |
결과와 함께 모델·파일·실행기·장비·문맥 길이·추론 설정을 남기고, 어떤 문항에서 어떤 근거를 빠뜨렸는지 봅니다. 품질이 업무 기준에 못 미치면 활용 범위를 줄이고, 로컬 실행이라는 이유로 기준을 낮추지 않습니다.
반입과 갱신
인터넷과 분리된 내부망에서는 모델과 라이브러리를 외부에서 받아 반입합니다. 반입 기록에는 「소방청 정보보안업무 규정」이 정의한 상용 인터넷망·휴대용 저장매체 같은 용어를 씁니다. 실제 반입 절차와 검사 방법은 기관 정보보안 담당의 기준을 따릅니다.
- [ ] 모델 파일·실행기·라이브러리를 공식 출처에서 받고 체크섬을 기록했습니다. - [ ] 휴대용 저장매체로 내부망에 옮기기 전에 기관 절차에 따라 악성코드 검사를 받았습니다. - [ ] 라이선스 원문을 보관하고 기관 법무·정보화 담당의 확인을 받았습니다. - [ ] 의존성을 함께 반입하고, 네트워크가 없는 검증 환경에서 설치·실행을 재현했습니다. - [ ] 버전·출처·체크섬·승인 기록을 하나로 묶고, 이전 버전으로 되돌리는 방법을 남겼습니다.
승인과 운영 기록
담당은 기관마다 다르므로 도입 검토 때 사람 이름 대신 업무로 정해 둡니다.
| 언제 | 정할 것·확인할 것 | 확인·승인 담당 |
|---|---|---|
| 도입 검토 | 배치 방식, 처리 단계별 데이터 경계, 보안성 검토의 시기와 절차 | 정보보안 담당 |
| 모델 선정 | 같은 골든셋으로 후보와 기준선 비교, 활용 범위 | 업무 담당 |
| 반입·갱신 | 출처·체크섬·악성코드 검사·라이선스 기록, 되돌리는 방법 | 정보보안 담당, 정보화 담당 |
| 운영 중 | 로그 보존·접근·폐기, 모델 교체 때 골든셋 재비교 | 정보보안 담당, 업무 담당 |
운영 시나리오
아래는 특정 제품·기관의 실제 사건이 아닌 가상 운영 연습입니다.
가상 시나리오 1: 긴 RAG 근거의 뒷부분이 빠진 경우
- 탐지: 로컬 후보가 응답은 내놓았지만, 골든셋 문항의 필수 출처가 긴 문맥에서 반복해 빠졌습니다.
- 원인 가설: 클라우드에서 쓰던 코드를
base_url만 바꿔 옮겼고, 실행기의 문맥 길이가 서버 기본값으로 남아 긴 근거의 뒷부분이 잘렸다고 봅니다. - 대응: 해당 업무의 자동 출력을 멈추고 서버 로그의 문맥 길이, 실제 입력 길이, 검색 조각 순서를 대조합니다. 문맥 길이는 서버 설정에서 정하고, 근거 수를 무조건 줄이지 않고 문서를 나누는 단위와 검색 범위를 비교합니다.
- 재발 확인: 첫·중간·마지막 근거가 모두 필요한 합성 문항을 다시 실행해 각 출처가 응답에 연결되는지 확인한 뒤 업무 담당이 활용 범위를 승인합니다. 같은 증상의 확인 순서는 로컬 AI 문제 해결에도 있습니다.
가상 시나리오 2: 반입 묶음의 기록이 실제 파일과 맞지 않은 경우
- 탐지: 반입 목록의 버전과 검증 환경에서 확인한 파일의 체크섬·라이선스 기록이 일치하지 않았습니다.
- 원인 가설: 묶음을 다시 만드는 과정에서 의존성 하나가 바뀌었지만 목록과 체크섬은 예전 값으로 남았다고 봅니다.
- 대응: 반입을 멈추고 기존 검증 버전을 유지합니다. 공식 출처에서 묶음을 다시 만들고 파일 목록·라이선스·체크섬·의존성을 하나의 승인 기록으로 묶습니다.
- 재발 확인: 네트워크가 없는 검증 환경에서 새 묶음의 설치·실행·골든셋 비교·되돌리기를 재현하고, 기록을 사람이 확인한 뒤에만 반입합니다.
한계와 리스크
| 리스크 | 발생 조건 | 영향 | 완화·사람 승인 |
|---|---|---|---|
| 도구의 기본 외부 통신 | 사용 통계·클라우드 기능·외부 판정 모델 설정을 확인하지 않고 설치함 | 업무 입력이나 사용 정보가 기관 밖으로 나감 | 끄는 설정과 네트워크 차단 시험 결과를 함께 기록하고 정보보안 담당이 확인 |
| 로컬 로그·백업의 민감정보 누적 | 입력·응답·디버그 자료를 내부망이라는 이유로 제한 없이 남김 | 내부 권한자나 백업 경로를 통한 노출 | 본문 로그를 최소화하고 보존·접근·폐기를 정보보안 담당이 승인 |
| 검증되지 않은 모델의 자신 있는 오답 | 연결 성공을 품질 통과로 오해함 | 근거 누락·구조화 출력 오류·범위 밖 답변 | 같은 골든셋으로 비교하고 업무 담당이 활용 범위 승인 |
자주 묻는 질문
Q. 내부망에서 돌아가면 보안 검토가 끝나나요?
아닙니다. 실제 추론 위치와 임베딩·검색·연결 도구부터 확인하고 계정·로그·백업·모델 반입·관리자 권한도 검토합니다. 보안성 검토의 시기와 절차는 기관 정보보안 담당에게 확인합니다.
Q. 더 큰 모델이면 항상 더 나은 선택인가요?
그렇지 않습니다. 업무 품질, 응답 시간, 메모리, 전력, 라이선스, 운영 여력을 함께 보고, 골든셋의 항목별 실패와 업무 기준으로 고릅니다.
Q. 폐쇄망 모델은 어떻게 갱신하나요?
공식 출처에서 만든 반입 묶음을 검증 환경에 먼저 설치합니다. 체크섬·라이선스·골든셋 비교·되돌리기를 확인하고 승인 기록을 남긴 뒤 내부망에 반입합니다.
핵심 정리
- 온프레미스는 처리 위치를 정하는 방식이며, 보안과 품질은 따로 확인합니다.
- 처리 단계마다 위치와 기본 외부 통신을 확인하고, 끄는 설정과 네트워크 차단 시험 결과를 함께 남깁니다.
- 호환 API로 연결한 뒤에도 문맥 길이·구조화 출력·근거 인용을 같은 합성 업무 자료로 다시 비교합니다.
- 반입 묶음은 모델·실행기·의존성·라이선스 원문·체크섬을 한 기록으로 묶고, 되돌리는 방법과 승인한 담당을 남깁니다.
다음 단계
- 안전한 AI 운영 도구 — 평가·문서 변환 도구가 기본으로 외부에 보내는 정보와 끄는 방법을 확인합니다.
- RAG 운영 평가 — 내부 후보와 기준선을 같은 골든셋으로 비교하는 방법을 익힙니다.
- 로컬 AI — 장비별 모델 후보와 실행 도구, 합성 자료 실습을 확인합니다.