예측 모델 운영, 드리프트 감지와 재학습 시점

import pandas as pd

# 롤링 백테스트: 기준월을 한 달씩 밀며 '과거로 학습 → 다음 달 검증' 반복
scores = []
for cut in pd.period_range("2025-01", "2025-12", freq="M"):
    train = df[df["기간"] <  str(cut)]
    test  = df[df["기간"] == str(cut)]
    m = fit_model(train)                      # 전편의 모델 학습 그대로
    topk = predict_topk(m, test, k=0.10)      # 위험 상위 10% 구역
    hit = test[test["격자"].isin(topk)]["화재"].sum() / max(test["화재"].sum(), 1)
    scores.append({"기준월": str(cut), "포착률": hit})

bt = pd.DataFrame(scores)
print(bt["포착률"].mean(), bt["포착률"].std())   # 예: 평균 0.61 ± 0.08

import numpy as np

def psi(train_col, live_col, bins=10):
    """학습 시점 분포 대비 현재 분포의 이동량. 구간은 학습 분포 기준."""
    edges = np.quantile(train_col.dropna(), np.linspace(0, 1, bins + 1))
    edges[0], edges[-1] = -np.inf, np.inf
    p = np.histogram(train_col, bins=edges)[0] / max(len(train_col), 1)
    q = np.histogram(live_col,  bins=edges)[0] / max(len(live_col), 1)
    p, q = np.clip(p, 1e-4, None), np.clip(q, 1e-4, None)   # 0 나눗셈 방지
    return float(np.sum((q - p) * np.log(q / p)))

for col in ["건조지수", "건물나이", "최근출동"]:            # 전편의 핵심 피처
    print(col, round(psi(train_df[col], live_df[col]), 3))

[모델 카드] 화재 위험도 v3 (2026-07 재학습)
- 목적: 격자별 월간 화재 위험 우선순위 (상위 10% 예방점검 배치 참고)
- 학습 데이터: 2022-01 ~ 2026-05 (출동·기상·건축물대장, 격자 500m)
- 기대 성능: 상위 10% 포착률 0.61 ± 0.08 (롤링 백테스트 12회)
- 알려진 한계: 신축 밀집 지역 과소평가 경향, 점검 이력 피드백 편향
- 재학습 트리거: 포착률 < 0.53 2개월 연속 / 핵심 피처 PSI > 0.25 / 계절 전환
- 담당: 예방연구팀 ○○○ · 이력: v1 2025-03, v2 2025-11, v3 2026-07

- [ ] 롤링 백테스트로 기대 성능 범위(평균±표준편차)를 배포 전에 쟀습니다.
- [ ] 상위 K% 포착률을 매월 기록하고 기대 밴드와 비교합니다.
- [ ] 핵심 피처의 PSI를 매월 계산하고, 튀면 파이프라인 사고부터 확인합니다.
- [ ] 재학습 트리거 3종(성능·드리프트·캘린더)이 문서화돼 있습니다.
- [ ] 새 모델은 이전 모델과 같은 기간에서 비교해 이길 때만 교체합니다.
- [ ] 모델 카드에 데이터 기간·기대 성능·한계·담당자·이력이 적혀 있습니다.