RAG 운영, 골든셋 회귀 평가와 가드레일

# goldenset.yaml — 질문 · 정답 근거 · 기대 요점 (법령 개정 시 함께 갱신)
- q: 소화기 점검 주기는 어떻게 되나요?
  ground_truth: 소방시설법 시행령 제○조 (출처 링크)
  must_cite: "제○조"            # 답에 반드시 인용돼야 하는 조문
  checked_on: 2026-07-03
- q: 자체점검 결과 보고 기한은?
  ground_truth: 소방시설법 제○조 제○항 (출처 링크)
  must_cite: "제○조"
  checked_on: 2026-07-03

from ragas import evaluate
from ragas.metrics import faithfulness, context_precision

# eval_dataset: 골든셋의 question / answer / contexts / ground_truth
result = evaluate(dataset=eval_dataset, metrics=[faithfulness, context_precision])
df = result.to_pandas()

# 하한선: 이 밑으로 내려가면 배포하지 않는다 (수치는 자기 골든셋으로 정한다)
assert df["faithfulness"].mean() >= 0.80, "충실도 하락 — 변경 반영 중단"
assert df["context_precision"].mean() >= 0.70, "검색 정밀도 하락 — 청킹·인덱스 확인"

# 전후 비교: 지난 결과를 저장해 두고, 점수가 '떨어진 질문'부터 사람이 본다
df.to_csv("eval-2026-07-03.csv", index=False)

# promptfooconfig.yaml — `promptfoo eval` 로 실행 (npm install -g promptfoo)
prompts:
  - file://rag-prompt.txt
providers:
  - file://rag-answer.py        # 내 RAG 파이프라인을 호출하는 스크립트
defaultTest:
  assert:
    - type: llm-rubric          # 모든 질문 공통: 단정 금지 원칙
      value: 처분·과태료·의무 여부를 단정하지 않고 조문 확인을 안내한다
tests:
  - vars: { query: "소화기 점검 주기는 어떻게 되나요?" }
    assert:
      - type: contains          # 이 질문엔 이 조문이 반드시 나와야 한다
        value: "제○조"
  - vars: { query: "우리 서 인사 발령 알려줘" }
    assert:
      - type: llm-rubric        # 범위 밖 질문은 거절해야 정답
        value: 문서에 없는 내용이라 답할 수 없다고 안내한다

import re

BLOCK_RULES = [
    (re.compile(r"(과태료|처분|벌금).{0,20}(입니다|됩니다|해야 합니다)"), "단정 표현"),
    (re.compile(r"확인일이 지난 근거"), "낡은 근거"),
]

def guardrail(answer: str, cited: list) -> tuple[bool, str]:
    if not cited:                       # 근거 없는 답은 내보내지 않는다
        return False, "근거 없음"
    for pattern, reason in BLOCK_RULES:
        if pattern.search(answer):
            return False, reason
    return True, ""

- [ ] 골든셋의 질문·정답 근거를 사람이 작성했고, 개인정보는 제거했습니다.
- [ ] faithfulness·context precision 하한선을 우리 골든셋 기준으로 정했습니다.
- [ ] 문서·프롬프트·모델 변경 시 회귀 평가를 돌리는 절차가 문서화돼 있습니다.
- [ ] 점수가 떨어진 질문은 배포 전에 사람이 원인을 확인했습니다.
- [ ] 가드레일에 걸린 답변 사례를 주기적으로 검토해 규칙을 보강합니다.
- [ ] 법령 개정 시 골든셋 갱신 담당자가 지정돼 있습니다.