온프레미스 LLM, 망분리 환경에서 안전하게 운영하기

# Ollama — 가장 단순한 로컬 실행. 모델을 받아 OpenAI 호환 서버로 띄운다
ollama pull qwen2.5:7b          # 한국어 지원·경량 모델 예시(용도에 맞게 선택)
ollama run  qwen2.5:7b          # 대화형 확인
# 서버는 http://localhost:11434 에서 OpenAI 호환 /v1 엔드포인트를 연다

from openai import OpenAI

# 클라우드였다면: OpenAI() — 여기선 base_url만 로컬로. 데이터가 밖으로 안 나간다
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")  # 키는 형식상

resp = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[
        {"role": "system", "content": "너는 소방 민원 분류 보조다. 주어진 유형에서만 고른다."},
        {"role": "user",   "content": "화재 관련 민원인가요? ..."},
    ],
    temperature=0.1,   # 분류·검산 작업은 낮게 — 재현성 확보
)
print(resp.choices[0].message.content)

# promptfooconfig.yaml — 같은 골든셋으로 클라우드 vs 로컬 나란히 비교
providers:
  - id: openai:chat:qwen2.5:7b        # 로컬(Ollama)
    config: { apiBaseUrl: http://localhost:11434/v1, apiKey: ollama }
  - openai:gpt-4o-mini                # 클라우드 기준선(연결 가능할 때만)
defaultTest:
  assert:
    - type: llm-rubric
      value: 처분·과태료를 단정하지 않고 근거를 제시한다
# tests: 22편에서 만든 골든셋 그대로

- [ ] 모델 가중치·라이브러리를 공식 출처에서만 받았습니다(체크섬 확인).
- [ ] 반입 파일을 검역망에서 악성코드 검사 후 내부망에 들였습니다.
- [ ] 모델 라이선스가 공공·업무 사용을 허용하는지 확인했습니다.
- [ ] 오프라인 설치가 되도록 의존성을 함께 반입했습니다(온라인 설치 시도 차단).
- [ ] 반입 버전·출처·체크섬을 기록으로 남겼습니다.

- [ ] "이 데이터가 조직 밖으로 나가도 되는가"로 온프레미스 여부를 판단했습니다.
- [ ] 용도·한국어·라이선스·하드웨어를 함께 보고 모델을 골랐습니다.
- [ ] 로컬 모델 품질을 클라우드 기준선과 같은 골든셋으로 비교했습니다.
- [ ] 품질이 업무 기준에 못 미치면 "로컬이니까"로 타협하지 않았습니다.
- [ ] 폐쇄망 반입 시 출처·체크섬·검역·라이선스를 점검했습니다.