AI 용어 사전

Appendix A. Glossary — generative artificial intelligence; model weight (인쇄면 22쪽, PDF 30쪽) · 생성형 AI의 콘텐츠 범위와 입력에 반응하는 모델 가중치의 역할. 국내 법령 정의의 대체 근거로 쓰지 않습니다.

1.1 한 줄로 시작하기 · 앞선 문맥에서 다음 토큰을 고르고 반복해 텍스트를 생성하는 흐름.

1.3 LLM이 아닌 것 세 가지 · 모델 자체와 검색 기능을 붙인 서비스의 구분, 사실 데이터베이스와 생성의 차이.

「1.1~1.4」는 LLM의 다음 토큰 생성과 이해 논쟁을 다룬다. 인식·추론·의사결정 기술을 포괄하는 인공지능 자체의 범위와 정의는 없다.

「4.1 사전학습」(#s1)은 LLM의 자기지도학습 사례다. 머신러닝을 데이터로 분류·예측·생성 모델을 만드는 방법으로 규정하거나 인공지능 안에서 구분하지 않는다.

「4.1~4.4」는 사전·사후학습과 파라미터를 다룬다. 많은 신경망 층을 통해 표현을 학습하는 딥러닝의 구별 기준은 없다.

「3.3 트랜스포머 — 같은 층을 쌓는다」(#s3)와 「3.4 파라미터·가중치란 무엇인가」(#s4)가 층별 계산, 수치 가중치, 학습을 연결해 설명한다. 신경망의 트랜스포머 사례에 한정된 근거다.

「1.3」(#s3)에 학습 패턴과 파라미터가 등장하지만, 파라미터를 사용해 입력에서 출력을 계산하는 모델의 구조를 직접 정의하지 않는다.

「4.2 파라미터가 지식을 담는다는 것의 의미」(#s2)가 파라미터를 학습 패턴이 담긴 수치 값으로 설명하고, 「4.1」(#s1)이 오차에 따른 조정을 설명한다.

「4.1 사전학습」(#s1)이 예측을 실제 다음 토큰과 비교하고 틀린 만큼 파라미터를 반복 조정하는 과정을 직접 설명한다. LLM 학습 사례의 범위다.

도입문이 학습 후 고정된 모델로 답을 만드는 실행을 추론이라 정의하고, 「5.1 한 토큰씩 — 자기회귀 생성」(#s1)이 입력에서 다음 토큰 분포를 계산하는 절차를 설명한다.

1.1 한 줄로 시작하기 · 앞선 문맥에서 다음 토큰을 고르고 반복해 텍스트를 생성하는 흐름.

1.3 LLM이 아닌 것 세 가지 · 모델 자체와 검색 기능을 붙인 서비스의 구분, 사실 데이터베이스와 생성의 차이.

4.1 사전학습 — 다음 토큰 맞히기를 수조 번; 4.3 사후학습 — 패턴 흡수기를 조수로 바꾸기 · 추가 학습과 파라미터 조정, 지시·응답 예시로 응답 방식을 조정하는 과정.

표지에 실제 임베드되는 00_INDEX.md의 「전체 그림 한눈에 보기」(#idx-s1)가 입력→토큰→트랜스포머→다음 토큰 확률→반복 생성의 핵심을 직접 설명한다. 단순 목차만을 근거로 삼은 판정은 아니며, 대규모 텍스트 학습에 대한 상세 근거는 01·04장이 별도로 필요하다.

문맥 한도를 토큰으로 세므로 글자 수와 토큰 수의 차이를 먼저 알면 입력·출력 예산을 읽기 쉽습니다. 기술적 필수 의존이 아닌 학습 순서입니다.

2.1 토큰화 — 왜 단어가 아니라 토큰인가 · 부분 단어·문장부호 등 토큰 단위, 토큰 수와 글자·단어 수의 차이. 특정 문자열의 실제 토큰 수는 주장하지 않습니다.

「2.1」(#s1)은 BPE 분할과 언어별 토큰 수를 설명하지만 토큰 ID 인코딩과 텍스트 디코딩을 수행하는 토크나이저 구성요소의 양방향 역할은 설명하지 않는다.

「한 줄 직관」(#s1)과 「성질 2: 확률」(#s3)이 주어진 텍스트에 조건부인 다음 토큰 확률분포에서 하나를 선택해 입력에 붙이고 반복하는 절차를 설명한다.

문맥 한도를 토큰으로 세므로 글자 수와 토큰 수의 차이를 먼저 알면 입력·출력 예산을 읽기 쉽습니다. 기술적 필수 의존이 아닌 학습 순서입니다.

윈도우 안에서 모든 것이 경쟁한다; 용량은 커지는데, 왜 다 넣으면 안 되나 · 지시·대화·자료·도구 결과·출력의 토큰 예산과 용량이 효과를 보장하지 않는 한계. 8,000토큰은 편집 예시의 가정입니다.

2.1 토큰화 — 왜 단어가 아니라 토큰인가 · 부분 단어·문장부호 등 토큰 단위, 토큰 수와 글자·단어 수의 차이. 특정 문자열의 실제 토큰 수는 주장하지 않습니다.

「3.3 트랜스포머 — 같은 층을 쌓는다」(#s3)가 어텐션과 피드포워드 층을 반복해 토큰 표현을 다듬는 구조를 직접 설명한다.

「3.2 셀프 어텐션의 직관」(#s2)의 Query·Key 점수, softmax 가중치, Value 가중합 설명이 토큰 관계와 표현 결합의 핵심을 뒷받침한다.

본문은 텍스트 LLM을 설명한다. 둘 이상의 텍스트·이미지·음성 양식을 함께 처리한다는 멀티모달의 핵심이 없다.

RAG는 실행 시점의 검색 자료를 입력에 넣고 파인튜닝은 추가 학습으로 파라미터를 바꾸므로 바꾸려는 대상과 갱신 방법을 비교합니다.

4.1 사전학습 — 다음 토큰 맞히기를 수조 번; 4.3 사후학습 — 패턴 흡수기를 조수로 바꾸기 · 추가 학습과 파라미터 조정, 지시·응답 예시로 응답 방식을 조정하는 과정.

Training, validation, and test sets; Additional problems with test sets · 학습과 평가 사례의 분리, 검증용 자료와 마지막 테스트 자료의 용도 차이 및 반복 사용의 한계.

RAG — 검색 증강 생성 · 질문·검색·문맥 제공·생성 흐름과 검색 실패 및 생성 오류의 구분.

「ㄱ~ㅎ」(#s1)의 미세 조정 항목이 모델 자체를 추가 학습시키는 일로 정의하고 프롬프팅과 구분한다. 일부·전체 파라미터 갱신 범위와 학습 목적의 세부는 이 짧은 항목만으로 설명되지 않는다.

객체 탐지는 영상에서 대상의 위치와 종류를 찾는 컴퓨터 비전 과업으로 분류한다.

「동작 원리」(#s3)는 영상 프레임의 화염·연기 객체탐지 사례다. 이미지·영상에서 분류·탐지·분할·추적을 다루는 컴퓨터비전 전체 분야의 정의는 없다.

화자별 시간 구간을 구분하는 일과 발화 내용을 텍스트로 인식하는 일은 서로 다른 평가 대상이다.

도입문과 「화자 결합」(#s2)은 이미 전사된 통화의 화자 배정·교정·품질 관리를 전제한다. 음성 신호를 문자로 변환한다는 음성 인식의 기본 원리를 직접 풀이하지 않는다.

GPU의 계산 장치와 그 장치가 사용하는 전용 메모리는 서로 다른 자원이다.

1.1.1 The Graphics Processing Unit · GPU의 그래픽 처리 기원과 병렬 연산 용도. 특정 제품의 속도 우열이나 사양은 지지하지 않는다.

GPU의 병렬 처리 특성과 작업·메모리·소프트웨어 조건을 실제로 설명한다.

GPU에서 KV 캐시를 저장하는 구성에서는 가중치와 KV 상태가 같은 유한한 메모리 공간을 사용한다.

정확한 정의: 하드웨어 메모리 계층 · 독립형 GPU의 전용 메모리와 시스템 RAM의 구분. 이어지는 캐시·런타임 메모리 절은 가중치 외 KV 캐시·활성값·버퍼가 메모리를 차지함을 설명한다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

양자화는 수치를 제한된 값으로 표현하는 방법이므로 어떤 수치 형식과 정밀도를 쓰는지 함께 이해한다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

먼저: 양자화(quantization)가 뭔가요? / 세 갈래 · 가중치·활성값·KV 캐시 양자화의 구분과 품질·메모리·지원 커널에 따른 절충.

같은 precision이라는 영문 이름을 쓰지만 수치 표현의 정밀도와 양성 예측의 정답 비율은 다른 개념이다.

2 Mixed Precision Training / 2.1 Half Precision Format · 수치 형식의 비트 배분, 유효숫자 정밀도와 표현 범위, 낮은 비트 표현의 메모리 효과. 분류 평가의 precision과는 다른 개념이다.

수치 형식의 범위와 정밀도, 비트 배분, 양자화의 관계를 직접 다룬다.

자기회귀 트랜스포머에서 KV 캐시는 어텐션에 쓰는 앞 토큰의 key·value를 재사용한다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

앞 토큰의 key·value 저장과 재사용, 저장량의 조건을 직접 설명한다.

자기회귀 LLM의 입력 토큰 처리 단계와 뒤이은 토큰 생성 단계를 구분한다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

프리필과 디코드의 계산 단계 및 첫 토큰 이벤트를 직접 구분한다.

자기회귀 LLM의 입력 토큰 처리 단계와 뒤이은 토큰 생성 단계를 구분한다.

기본 자기회귀 디코드에서는 이미 생성한 토큰을 조건으로 다음 토큰을 반복해서 선택한다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

자기회귀 생성, 종료 조건과 디토큰화의 차이를 확인할 수 있다.

여러 요청의 계산을 묶으면 처리량이 늘 수 있지만 메모리 한계와 포화점 때문에 항상 늘어나는 것은 아니다.

LLM inference / Batching / Key-value caching / Quantization · 자기회귀 LLM의 프리필·디코드, KV 상태 재사용, 요청 배칭과 양자화의 기본 개념. 제품별 성능 수치는 사용하지 않는다.

Time to First Token / Tokens Per Second · 요청 제출부터 첫 토큰 수신까지의 TTFT와 여러 동시 요청의 출력 토큰 처리량. 측정 시작·종료 이벤트가 같아야 비교할 수 있다.

배칭의 동기와 정적 배치의 대기·낭비, 처리량 포화 조건을 설명한다.

객체 탐지는 영상에서 대상의 위치와 종류를 찾는 컴퓨터 비전 과업으로 분류한다.

Object Detection — introduction · 이미지·영상 속 대상의 위치와 종류를 찾으며 상자·클래스·점수를 출력하는 객체 탐지 과업.

프레임에서 대상 종류·위치·점수를 얻는 과정을 설명한다. 실제 경보 판단이나 도입 권고는 이번 정의 근거 범위에서 제외한다.

작업 지시와 참고 자료가 모델 입력에 함께 들어간다는 점을 먼저 배우면 자료 속 지시가 작업을 바꾸는 문제를 이해하기 쉽습니다.

정의 · 원하는 출력을 위해 입력을 설계하고 대표 결과를 보며 다듬는 과정.

그럼 왜 어떤 표현은 실제로 효과가 있을까 · 출력 형식·독자·기준을 구체적으로 전달하는 원리. 과장된 표현의 반복과 구분합니다.

공통 사전의 prompt는 AI에 보내는 지시·입력이고, 개발 환경의 셸 프롬프트는 명령 입력을 받을 준비가 됐다는 표시다. 같은 영문 이름의 별도 뜻으로 제시하고 동의어로 합치지 않는다.

「시스템 프롬프트란」(#s1)과 「구성 요소」(#s3)가 역할·원칙·톤·출력 기본값을 지속적으로 제공하는 설정으로 설명한다. 제품별 우선순위 계약까지 일반화하지 않는다.

「명확함을 분해하기 — 6가지 점검 항목」(#s3)이 수행 동작·판단 맥락·형식·분량·톤을 입력에 명시하는 지시의 구성요소를 직접 설명한다.

「같은 질문, 더 넓은 시야」(#s1)와 「두 개념을 한 그림으로」(#s2)가 시스템 설정·자료·이전 대화·도구 결과·사용자 질문을 모델이 보는 전체 정보로 설명한다.

「같은 질문, 더 넓은 시야」(#s1)가 모델이 보는 정보 전체의 구성을 설계하는 접근을 직접 설명하고 좁은 프롬프트 설계와 구분한다.

「왜 통하는가 — 원리」(#s2)가 역할·독자 명시를 어휘·관점·깊이·톤을 유도하는 정보 제공으로 설명한다.

「지시와 자료가 섞이는 문제」(#s1)와 「구분자의 종류와 선택」(#s3)이 XML 태그·마크다운 제목·따옴표를 지시와 자료의 경계 표식으로 설명한다.

「용어 정리 — shot이 뭔가」(#s2)의 표가 예시 0개를 zero-shot으로 구분하고 지시만 있는 분류 예시를 제시한다.

「용어 정리 — shot이 뭔가」(#s2)의 표와 입력·라벨 예시가 예시 1개로 형식·스타일을 보여주는 설정을 직접 설명한다.

「용어 정리 — shot이 뭔가」(#s2)가 소수 예시의 입력·출력 패턴을 이어 쓰는 방식을 설명한다. 본문 수량 2~5는 예시 범위이며 보편적 상한으로 취급하지 않는다.

「구조화 출력(JSON 등)을 신뢰성 있게」(#s4)가 필드·타입·필수 여부를 정한 스키마와 디코딩 제약을 설명한다. 같은 절이 JSON 모드와 구조화 출력을 묶어 말하므로 모든 제품 기능의 동일한 보장으로 확대하면 안 된다.

「설정으로 다스리기 — temperature」(#s3)가 낮은 온도에서 높은 확률 토큰에 집중하는 효과와 모델별 제약을 설명한다. 확률분포 변환 수식은 포함하지 않는다.

본문은 온도와 프롬프트·버전 고정에 따른 일관성을 다루지만 top-p를 언급하지 않는다. 누적 확률로 토큰 후보 집합을 제한한다는 핵심이 없다.

「단계적 사고란」(#s1)이 중간 추론 단계를 거치는 기법을 정의하고 「최신 모델에서는 달라졌다」(#s3)가 내장 추론과 외부 단계 지시를 구분한다.

「그런데 — 최신 모델에서는 달라졌다」(#s3)가 중간 추론 공간을 스스로 만들도록 학습된 모델을 추론 모델로 설명한다.

「한 번에 다 시키면 왜 약한가」(#s1)가 한 단계의 출력을 다음 입력으로 넘기는 구조를, 「분기와 병렬」(#s5)이 단계별 API 호출과 책임 분리를 설명한다.

「멀티턴 대화는 어떻게 쌓이나」(#s2)가 이전 주고받음이 매 요청의 컨텍스트로 누적·재전송되는 여러 턴 상호작용을 설명한다.

「대응 2: 요약·압축」(#s5)이 긴 대화 핵심으로 이전 기록을 대체하고 남길 신호·버릴 내용을 선별하는 과정을 직접 설명한다.

「같은 정보, 다른 위치, 다른 결과」(#s1)가 긴 컨텍스트의 가운데 정보가 양 끝보다 덜 활용되는 경향을 직접 정의한다.

표지에 임베드되는 00_INDEX.md는 분석 흐름과 장별 목차다. 값·기록으로서 데이터의 뜻과 목적·시점에 따른 해석 범위는 직접 정의하지 않는다.

00_INDEX.md의 학습 목차에는 데이터 분석·DataFrame이 있지만 데이터셋을 목적·구조·스키마를 갖춘 자료 집합으로 정의하는 문장은 없다.

「4.1 사전학습」(#s1)의 책·웹페이지·코드와 실제 다음 토큰, 「4.3 사후학습」(#s3)의 질문·좋은 응답 쌍이 학습에 쓰이는 입력·목표의 역할을 직접 설명한다.

「하지 말 것」(#s3)과 「동작 원리」(#s4)가 실제 행을 복사하거나 고치지 않고 열 구성·값 범위·열 관계 규칙으로 새 행을 만드는 데이터를 설명한다. 현실 분포를 닮았다는 보증이나 개인정보 검토 승인이 아니라는 한계도 명시하며, 실제 자료의 통계적 특성을 유지하도록 만든 공개 합성 데이터는 원자료에서 출발한 별도 사례로 구분한다.

본문은 개인정보 탐지·마스킹·가명 대응표와 검수 절차다. 출처·형식·생성 시각·작성자·버전처럼 데이터를 설명하는 부가 정보의 정의는 없다.

00_INDEX.md에 정리·변형 흐름과 결측치 처리 장 링크가 있으나 결측·중복·형식·단위 검사를 거친 준비 과정 자체의 설명은 없다. 목차에서 연결된 12장 본문을 별도 근거로 확인해야 한다.

도입문과 「동작 원리」(#s2), 「라벨 기준 합의문을 먼저 정하기」(#s5)가 샘플에 클래스·경계를 부여하고 작업자 기준을 맞추는 과정을 설명한다.

「2.1 토큰화」(#s1)가 단어를 부분 단어 조각으로 바꾸는 과정과 BPE 규칙·언어별 차이를 직접 설명한다.

임베딩 기반 문서 검색을 배울 때 저장되는 숫자 표현을 먼저 이해하면 벡터 스토어의 저장·검색 역할을 구분하기 쉽습니다.

2.2 임베딩 — 의미를 좌표로 · 토큰의 숫자 표현, 표현의 유사성 및 정적 표현과 문맥적 표현의 구분. 문서 검색용 임베딩은 별도 공식 자료로 보완합니다.

embedding space; embedding vector · 학습으로 만든 숫자 배열과 유사성 비교, 재학습 시 표현이 바뀔 수 있다는 설명.

How embedding models are used in vector queries · 문서와 질문 벡터를 같은 임베딩 모델로 만드는 조건. Azure의 제품 설정·요금·지원 모델 목록으로 일반화하지 않습니다.

What scenarios can vector search support?; How does vector search work? · 벡터 저장·색인·유사도 검색과 문서 반환, 메타데이터 필터, 키워드 검색과의 결합. Azure 제품 기능을 모든 제품의 보장으로 옮기지 않습니다.

「RAG — 검색 증강 생성」(#s2)은 검색 결과를 컨텍스트에 넣는 절차만 설명한다. 텍스트를 고정 길이 숫자 벡터로 바꾸는 임베딩 표현은 본문에 없다.

본문에 순서 있는 숫자 배열 또는 벡터 표현의 설명이 없다. RAG의 검색을 소개했다는 사실만으로 벡터 정의를 뒷받침하지 않는다.

본문에 벡터의 방향·거리·유사도 점수 계산이 없다. 관련 문서 검색이라는 표현을 수치적 유사도 정의로 확장할 수 없다.

임베딩 기반 문서 검색을 배울 때 저장되는 숫자 표현을 먼저 이해하면 벡터 스토어의 저장·검색 역할을 구분하기 쉽습니다.

What scenarios can vector search support?; How does vector search work? · 벡터 저장·색인·유사도 검색과 문서 반환, 메타데이터 필터, 키워드 검색과의 결합. Azure 제품 기능을 모든 제품의 보장으로 옮기지 않습니다.

E. 인프라·데이터베이스·라이선스 · 문서를 임베딩으로 표현해 저장·검색하는 벡터 스토어와 청킹의 기초 용어. 내부 항목이 두 개념을 묶어 적어 공식 자료로 역할을 분리했습니다.

How embedding models are used in vector queries · 문서와 질문 벡터를 같은 임베딩 모델로 만드는 조건. Azure의 제품 설정·요금·지원 모델 목록으로 일반화하지 않습니다.

「E. 인프라·데이터베이스·라이선스」(#s5)의 청크/청킹 항목이 검색·처리를 위해 큰 문서를 나눈 조각을 직접 풀이한다.

긴 문서를 조각으로 검색하는 RAG를 배울 때 청킹을 먼저 보면 검색 결과에서 조건과 예외가 빠지는 이유를 설명하기 쉽습니다. 모든 RAG의 필수 방식이라는 뜻은 아닙니다.

2. 조문 경계로 나누기(청킹) · 문서 분할 시 조건·예외와 문서 구조 보존, 원문 위치 메타데이터 및 최소 코드의 권한·버전 한계.

E. 인프라·데이터베이스·라이선스 · 문서를 임베딩으로 표현해 저장·검색하는 벡터 스토어와 청킹의 기초 용어. 내부 항목이 두 개념을 묶어 적어 공식 자료로 역할을 분리했습니다.

RAG가 하는 일; 4. 검증: 검색 오류와 생성 오류 나누기 · 출처·확인일 보존, 문서 조각 검색과 답변 검증의 별도 단계.

이 문맥의 하이브리드 검색은 키워드와 벡터 검색 결과를 결합하는 검색 방식이다.

「RAG — 검색 증강 생성」(#s2)이 질문과 관련된 문서 부분을 찾아 반환하는 검색 단계의 핵심을 설명한다. 순위 산정 알고리즘은 다루지 않는다.

본문은 검색 결합의 역할을 설명할 뿐 단어·형태 일치에 따른 키워드 검색 방식을 설명하지 않는다.

본문은 검색 결합의 역할을 설명할 뿐 임베딩 등의 의미 표현 유사도로 찾는 검색 방식을 설명하지 않는다.

RAG는 실행 시점의 검색 자료를 입력에 넣고 파인튜닝은 추가 학습으로 파라미터를 바꾸므로 바꾸려는 대상과 갱신 방법을 비교합니다.

긴 문서를 조각으로 검색하는 RAG를 배울 때 청킹을 먼저 보면 검색 결과에서 조건과 예외가 빠지는 이유를 설명하기 쉽습니다. 모든 RAG의 필수 방식이라는 뜻은 아닙니다.

Microsoft GraphRAG는 지식그래프와 커뮤니티 요약 구조를 활용하는 RAG 접근이다.

RAG — 검색 증강 생성 · 질문·검색·문맥 제공·생성 흐름과 검색 실패 및 생성 오류의 구분.

RAG가 하는 일; 4. 검증: 검색 오류와 생성 오류 나누기 · 출처·확인일 보존, 문서 조각 검색과 답변 검증의 별도 단계.

4.1 사전학습 — 다음 토큰 맞히기를 수조 번; 4.3 사후학습 — 패턴 흡수기를 조수로 바꾸기 · 추가 학습과 파라미터 조정, 지시·응답 예시로 응답 방식을 조정하는 과정.

What scenarios can vector search support?; How does vector search work? · 벡터 저장·색인·유사도 검색과 문서 반환, 메타데이터 필터, 키워드 검색과의 결합. Azure 제품 기능을 모든 제품의 보장으로 옮기지 않습니다.

「기법 1: 근거를 함께 내게 한다」(#s2)는 결론에 원문 인용을 붙여 검증하는 방법이다. 생성 내용을 제공된 자료·도구 관측에 제약하는 grounding의 핵심 조건까지 직접 설명하지 않는다.

스캔 이미지를 검색용 문서로 준비하는 경우 OCR은 후속 청킹·검색에 앞선 텍스트 준비 단계가 될 수 있다.

OCR (Read) editions — OCR 정의 문단 · 이미지·스캔 문서의 인쇄체 및 손글씨를 디지털 텍스트로 추출하는 문자 인식의 뜻. 특정 API의 권장 여부나 사용법은 수록하지 않는다.

문서를 검색용 텍스트로 정리하는 목적을 설명하지만 OCR의 정의나 이미지 인식 원리를 직접 설명하지는 않는다.

이 문맥의 하이브리드 검색은 키워드와 벡터 검색 결과를 결합하는 검색 방식이다.

Why use hybrid search? / How does hybrid search work? · 키워드 검색과 벡터 검색 결과를 결합하는 하이브리드 검색. RRF는 이 제품의 결합 방식 사례이며 모든 구현의 필수 요건으로 일반화하지 않는다.

내용 검색 절에서 키워드와 의미 검색의 차이를 설명하고 하이브리드 검색을 두 방식의 결합으로 소개한다. 순위 결합의 자세한 근거는 외부 문서다.

리랭킹은 초기 검색이 반환한 후보의 관련성을 다시 평가하는 후속 단계다.

Reranking / Semantic ranking · 초기 검색으로 얻은 후보를 다시 평가해 순서를 정하는 후속 단계와 추가 지연 비용. 모든 RAG가 리랭킹을 해야 한다는 주장은 지지하지 않는다.

RAG의 검색과 생성 단계가 배경이 되지만 리랭킹 정의·후보 재평가를 직접 설명하지 않는다.

지식그래프는 대상·관계에 관한 지식을 연결하고 온톨로지는 용어·관계의 의미를 명시하는 데 초점을 둔다. 두 범위는 함께 쓰이거나 일부 겹칠 수 있다.

1 Introduction — Knowledge graph · 저자들이 채택한 포괄적 정의: 대상은 노드, 대상 사이 관계는 연결인 데이터 그래프로 지식을 표현한다. RDF 외 여러 그래프 모델이 가능하며 온톨로지는 모든 지식그래프의 필수 요건이라고 단정하지 않는다.

2 Why Use RDF? / 3.1 Triples · 대상과 관계를 그래프로 표현하고 같은 대상의 식별자를 통해 여러 문장을 연결·질의하는 방식. RDF는 지식그래프 표현의 한 방식이며 모든 지식그래프가 RDF여야 한다는 뜻은 아니다.

표의 식별자와 관계를 배우는 비교용 배경이다. 이 교재가 지식그래프나 RDF를 정의한다고 보지 않는다.

지식그래프는 대상·관계에 관한 지식을 연결하고 온톨로지는 용어·관계의 의미를 명시하는 데 초점을 둔다. 두 범위는 함께 쓰이거나 일부 겹칠 수 있다.

둘 다 구조와 관계를 명시할 수 있으나 온톨로지는 분야 용어의 의미를 표현하는 지식 명세라는 범위를 갖는다.

2 What is OWL 2? · 관심 영역에 관한 정확한 서술, 용어의 의미와 용어 사이 관계를 명시하는 온톨로지. 개별 대상에 관한 서술도 포함할 수 있다는 범위를 보존한다.

데이터의 구조·자료형·제약을 배우는 비교용 배경이다. 온톨로지의 의미 명세나 OWL 정의는 외부 W3C 문서가 뒷받침한다.

Microsoft GraphRAG는 지식그래프와 커뮤니티 요약 구조를 활용하는 RAG 접근이다.

Microsoft GraphRAG의 대표 처리 과정은 문서에서 추출한 대상·관계의 지식그래프를 활용한다.

Welcome to GraphRAG / The GraphRAG Process · Microsoft GraphRAG의 지식그래프 추출, 커뮤니티 구성·요약, 구조를 활용한 RAG 과정. 일반적인 그래프 기반 RAG 전체와 제품 이름을 구분한다.

일반 RAG의 검색·근거·생성·평가를 배우는 선행 자료이며 GraphRAG 구현을 설명하지는 않는다.

화자별 시간 구간을 구분하는 일과 발화 내용을 텍스트로 인식하는 일은 서로 다른 평가 대상이다.

Neural building blocks for speaker diarization / Community-1 usage output · 화자 분리 결과가 시작·종료 시각과 SPEAKER 번호로 표현됨을 확인한다. 번호는 실명이나 통화 역할 인증이 아니다.

화자 구간 결합과 SPEAKER 번호가 역할 인증이 아니라는 점을 직접 설명한다.

SQL은 데이터베이스에서 구조·조회·변경을 요청하는 언어다.

1.2 데이터베이스와 SQL, 한 줄 정의 · SQL을 데이터베이스의 구조·저장·질의를 요청하는 언어로 설명한다. 관계형 DB가 표를 연결해 자료를 관리함을 다루되 DB와 DBMS의 엄밀한 구분은 외부 원문으로 보완한다.

관계형 데이터베이스의 표와 DataFrame은 모두 행·열을 쓰지만 저장·관리 체계와 분석 자료구조라는 역할이 다르다.

2.2 Concepts · 관계형 데이터베이스의 행·열·표 구조와 이를 관리하는 RDBMS를 구분하며, 표 이외의 데이터베이스 구조도 있음을 설명한다.

관계형 표 구조와 조회 목적을 직접 설명한다. 교재의 시스템이라는 입문 표현은 외부 PostgreSQL 원문과 대조해 데이터 모음/관리 소프트웨어를 구분했다.

관계형 데이터베이스의 표와 DataFrame은 모두 행·열을 쓰지만 저장·관리 체계와 분석 자료구조라는 역할이 다르다.

표 데이터를 다루는 분석에서는 DataFrame의 열과 자료형을 사용해 전처리 결과를 확인할 수 있다.

pandas data table representation · 행·열을 갖고 열마다 다른 자료형을 담을 수 있는 2차원 DataFrame 구조.

행·열 구조, 생성·읽기·저장과 인덱스 사용을 설명한다.

ETL의 변환 단계에는 목적 저장소와 분석에 맞춘 데이터 정리·변환이 포함될 수 있다.

What is ETL? / What is data transformation? / What is ELT? · 여러 원천에서 추출한 데이터를 변환해 목적 저장소에 적재하는 과정과 적재를 먼저 하는 ELT와의 순서 차이.

데이터 엔지니어링의 다음 학습 주제로 ETL 약자를 소개하지만 세 단계의 정의와 ELT 비교는 설명하지 않는다.

이 사전의 LLM 기반 범위에서는 동적으로 다음 행동을 고르는 에이전트와 미리 정한 경로를 따르는 워크플로를 구분하며 혼합 구성도 고려합니다.

정확한 정의 · 다음 행동 선택, 도구 실행, 결과 관찰과 반복으로 구성한 LLM 기반 에이전트.

What are agents?; Workflow: Prompt chaining; Agents · 미리 정한 실행 경로와 모델이 동적으로 고르는 행동의 구분, 중간 검사와 종료 조건. 제품 추천은 사용하지 않습니다.

「B. 용어집」(#s2)의 Agent 항목이 목표까지 스스로 다음 행동을 정해 반복하는 LLM 시스템을 직접 정의한다.

「기본 개념」(#s1)의 에이전틱 항목이 목표에 따라 도구를 고르고 모델 호출→실행→결과 확인을 반복하는 여러 단계 수행 특성을 직접 설명한다.

「B. 용어집」(#s2)의 에이전트 루프 항목이 인식→추론→행동→관찰의 반복을 직접 설명한다.

이 사전의 LLM 기반 범위에서는 동적으로 다음 행동을 고르는 에이전트와 미리 정한 경로를 따르는 워크플로를 구분하며 혼합 구성도 고려합니다.

What are agents?; Workflow: Prompt chaining; Agents · 미리 정한 실행 경로와 모델이 동적으로 고르는 행동의 구분, 중간 검사와 종료 조건. 제품 추천은 사용하지 않습니다.

「B. 용어집」(#s2)은 LangGraph의 State/Node/Edge와 CrewAI Flows를 개별 제품 용어로 소개한다. 작업 단계·분기·책임·데이터 흐름으로서 워크플로 자체의 정의는 없다.

본문에는 API·도구·인프라 이름과 첫 등장 장이 있지만 사람의 반복 조작을 코드·규칙으로 실행하는 자동화 자체의 정의가 없다.

「B. 용어집」(#s2)은 외부 상호작용 함수인 도구와 JSON 함수 요청을 풀이한다. 모델의 도구·입력 선택 후 실행 결과를 다시 컨텍스트에 받는 전체 도구 사용 절차는 풀어 설명하지 않는다.

모델이 도구 호출을 구조화해 요청하는 기능과 호스트·클라이언트·서버 사이의 연결 프로토콜은 서로 다른 역할입니다.

도구 사용 (function calling) · 도구 명세를 받은 모델의 구조화된 호출 요청, 응용 프로그램의 실제 실행, 결과 전달의 구분.

지킬 것 5 — 사람 검토 없이 내보내거나 실행하지 않습니다 · 검토자의 자료·업무 맥락·권한과 미확인 상태 유지, 검토 판정과 결재·업무 승인의 구분.

「B. 용어집」(#s2)의 Function Calling 항목이 모델이 도구 호출을 JSON으로 요청하는 메커니즘을 직접 설명한다. 제공된 스키마에 맞춘 인자 생성이라는 세부는 별도 설명이 필요하다.

「B. 네트워크·프로토콜」(#s2)의 API 항목이 다른 프로그램의 기능을 호출하는 약속된 창구와 요청·응답 예를 설명한다.

「데이터·메시지 형식」(#s1)의 JSON 항목이 프로그램 사이에서 통용되는 키·값 형태의 텍스트 데이터 표현을 직접 설명한다. 모든 JSON 자료형을 열거하지는 않는다.

「데이터·메시지 형식」(#s1)의 JSON Schema 항목이 데이터가 따라야 할 모양·양식 규격을 직접 설명한다. 일반 데이터 스키마보다 JSON 규격에 한정된 근거다.

모델이 도구 호출을 구조화해 요청하는 기능과 호스트·클라이언트·서버 사이의 연결 프로토콜은 서로 다른 역할입니다.

Scope; Participants; Data layer · 호스트·클라이언트·서버의 책임, 도구·자료·프롬프트의 제공과 프로토콜 범위.

함수 호출(function calling)과 뭐가 다른가? · 모델 API의 도구 요청과 응용 프로그램·서버 간 연결 규약의 층위 차이. 호환성 보장은 인용하지 않습니다.

지킬 것 5 — 사람 검토 없이 내보내거나 실행하지 않습니다 · 검토자의 자료·업무 맥락·권한과 미확인 상태 유지, 검토 판정과 결재·업무 승인의 구분.

「용어집」(#s1)의 MCP·Host·Client·Server·Tools·Resources·Prompts 항목이 AI 앱과 외부 기능을 잇는 표준과 구성요소를 설명한다. 기능 발견·호출 메시지의 세부는 본문 장에서 보강해야 한다.

「용어집」(#s1)은 Host를 LLM을 품고 사용자를 응대하는 AI 앱으로만 풀이한다. 여러 클라이언트 관리, 동의·권한·컨텍스트 통제라는 기존 정의의 구별 역할은 02_components 본문에 있으나 이 링크 자체에는 없다.

「용어집」(#s1)의 Client 항목이 호스트 내부에서 서버 하나와 1:1로 통신하는 구성요소임을 직접 설명한다. 세션 초기화·기능 발견 세부는 02_components가 추가 근거다.

「용어집」(#s1)의 Server 항목이 도구·리소스·프롬프트를 노출하는 주체라고 직접 설명한다.

「B. 용어집」(#s2)의 Memory 항목이 대화 맥락을 유지하는 단기·장기 기록으로 직접 정의한다.

「B. 용어집」(#s2)이 State를 그래프의 공유 데이터로, 체크포인터를 저장·재개 장치로 설명한다. LangGraph 사례에 한정되며 오류·승인 필드의 전체 목록은 없다.

「포크에서 기여하기」(#s5) 등은 공개 프로젝트에 기여하는 절차다. 소스 공개와 라이선스상 이용·수정·재배포 권리의 관계를 정의하지 않는다.

「3.1 저장소란」(#s1)이 Git이 버전 이력을 관리하는 프로젝트 공간으로 정의하고 「3.3 .git 폴더」(#s3)가 이력·브랜치 등 관리 데이터를 설명한다. GitHub 협업 기능은 이 링크의 주요 범위가 아니다.

에이전트가 셸 명령을 실행하는 구성에서는 CLI 프로그램이 도구 실행 대상이 될 수 있다. 모든 도구가 CLI인 것은 아니다.

1 Overview / 2 A brief history lesson · 명령줄이 컴퓨터와 텍스트로 상호작용하는 인터페이스라는 개념. 특정 명령어나 설치 과정은 수록하지 않는다.

터미널·셸과 명령어+옵션+대상 구조를 다루는 실습 배경이다. CLI·터미널·셸을 같은 객체로 정의하지 않는다.

명령 인터페이스를 사용하는 터미널의 화면·입력 방식을 확인합니다.

명령줄에서 실행한 프로그램도 자신의 프로세스 환경으로 전달된 설정을 읽을 수 있다.

os.environ / process environment inheritance · 프로세스 환경을 문자열 이름과 값의 대응으로 표현하며 자식 프로세스가 환경을 상속하거나 별도 환경을 받을 수 있음.

환경변수 절에서 외부 설정값과 PATH의 역할을 설명한다. 비밀값 보호를 자동 보장하는 표현은 사용하지 않는다.

환경변수의 한 사례인 PATH가 실행할 프로그램을 찾는 데 쓰이는 방식을 확인합니다.

Python 가상환경은 프로젝트가 설치할 패키지 구성을 분리해 관리한다.

What is a distribution package? / What is an import package? · 설치하는 배포 패키지와 코드에서 불러오는 import 패키지의 차이. 설치 이름과 import 이름이 다를 수 있음.

패키지 설치 절에서 필요한 라이브러리를 개발 환경에 추가하는 맥락을 설명한다. 배포/import 의미 구분은 PyPA 원문으로 보완한다.

패키지를 관리하는 도구의 한 사례를 개발 환경에서 확인합니다.

패키지 의존성의 분리와 실행 코드의 파일·네트워크 접근 제한은 별개 경계다.

venv — introduction · 프로젝트별 Python 인터프리터와 설치 패키지를 분리하는 가상환경. 기본 패키지 격리의 범위이지 OS 보안 경계는 아니다.

프로젝트별 가상환경과 패키지 분리의 이유를 설명한다. 보안 격리라는 뜻으로 확대하지 않는다.

여러 에이전트가 역할과 결과를 주고받는 구성으로서 개별 에이전트의 기능과 협업 구조를 함께 이해한다.

패턴 1: 에이전트를 도구로 / 패턴 1 vs 핸드오프 · 여러 전문 에이전트의 작업을 매니저가 조정하거나 실행 주도권을 넘기는 협업 구성을 설명한다.

Workflow: Orchestrator-workers · 중앙 LLM이 작업을 나누고 작업자에게 위임해 결과를 종합하는 협업 패턴. 모든 멀티 에이전트가 이 중앙 구조를 요구하는 것은 아니다.

Agent Skills 형식은 에이전트가 필요할 때 읽을 작업 지침과 보조 자료를 제공한다.

What are Agent Skills? / How do Agent Skills work? · SKILL.md의 메타데이터·작업 지침과 선택적인 스크립트·참고자료를 묶어 필요할 때 읽는 Agent Skills 형식.

SKILL.md·참고자료·스크립트 묶음과 필요할 때 읽는 방식을 직접 설명한다. 제품별 명령 문법은 수록하지 않는다.

「공공 AX의 뜻」이 AX를 AI 전환으로 풀고 공공 AX를 공무원이 직접 만들어 공개한 AI 도구와 코드로 설명한다.

「이 안내서의 종착점」(#s1)이 작동 여부를 측정하는 평가를 정의하고 「가장 가벼운 평가」(#s3)가 입력·기대·비교 절차를 제시한다.

「세 가지 판정」(#s8)은 개별 결과를 제출 전 사람이 확인하는 체크리스트다. 평가 자료와 측정 절차로 시스템의 품질을 비교하는 평가 일반 개념은 직접 정의하지 않는다.

분류 정확도를 계산하기 전에 입력과 기준 답으로 평가 자료를 구성하면 무엇을 맞혔는지와 분모의 범위가 분명해집니다.

가장 가벼운 평가 — 누구나 할 수 있다; 무엇을 측정하나 — 작업별 지표 · 입력과 기준 답을 먼저 정한 비교, 분류 정확도의 기준 답 일치 비율. 정밀도·재현율 공식의 근거는 아닙니다.

1. 골든셋 만들기; 2. 회귀 평가 · 질문·정답 근거·기대 요점의 평가 자료, 버전·확인일과 대표 표본의 한계. 원문의 수치 예시는 운영 문턱값으로 옮기지 않았습니다.

Training, validation, and test sets; Additional problems with test sets · 학습과 평가 사례의 분리, 검증용 자료와 마지막 테스트 자료의 용도 차이 및 반복 사용의 한계.

「골든셋 만들기」(#s3)는 사람이 작성한 질문·근거·기대 요점 목록을 정의하고, 「한계와 리스크」(#s9)는 업무 담당자의 표본 승인을 명시한다.

「동작 원리」(#s2)와 「자동 라벨 초안을 검수할 때」(#s9)가 모델 예측과 자동 초안을 정답으로 삼지 않고 사람이 원본·합의문으로 라벨을 확정하는 절차를 설명하고, 「의심 라벨과 분할 누수 후보 찾기」(#s7)는 사람 라벨(ground_truth)을 모델 예측과 비교하는 기준으로 둔다.

「가장 가벼운 평가」(#s3)의 기대 결과는 원하는 출력의 사전 기준이다. 관측·검증·합의로 확정한 정답 기준과 기대·선호를 구별하는 설명은 없다.

고정 입력으로 프롬프트·모델을 비교하는 평가를 소개하지만, 공통 과제와 측정 규약으로 구성된 벤치마크 체계는 직접 정의하지 않는다.

「동작 원리」(#s2)와 「답변 품질 회귀 테스트」(#s9)에 고정 질문별 이전·현재 결과를 비교하는 회귀 평가는 있지만, 비교 대상으로 선택한 기존 방식·단순 모델·이전 성능이라는 베이스라인의 의미는 직접 설명하지 않는다.

「무엇을 측정하나 — 작업별 지표」(#s4)가 정확도·형식 준수율·변동률·근거 비율 및 상중하 기준으로 품질을 일관되게 측정하는 방법을 설명한다.

「회귀 평가」(#s4)와 「설계 판단」(#s7)이 집계 품질 점수·하한선·질문별 통과/실패 기준으로 품질을 수치화·판정하는 역할을 설명한다.

전체 사례를 분모로 쓰는 정확도와 예측 양성을 분모로 쓰는 정밀도를 함께 읽어 전체 정답률과 표시한 양성의 정확성을 구분합니다.

전체 정답률이 높아도 드문 양성의 누락이 많을 수 있으므로 정확도와 실제 양성 기준의 재현율을 비교합니다.

분류 정확도를 계산하기 전에 입력과 기준 답으로 평가 자료를 구성하면 무엇을 맞혔는지와 분모의 범위가 분명해집니다.

Accuracy; Recall, or true positive rate; Precision; What does NaN mean in the metrics? · 분류 정확도·정밀도·재현율의 서로 다른 분모, 불균형 자료의 한계와 분모 0의 미정의.

Accuracy score; Precision, recall and F-measures — Binary classification · 분류 지표의 정확한 계산식과 TP·FP·FN·TN 구분. 패키지 설치나 API 사용법은 이 노트의 범위가 아닙니다.

가장 가벼운 평가 — 누구나 할 수 있다; 무엇을 측정하나 — 작업별 지표 · 입력과 기준 답을 먼저 정한 비교, 분류 정확도의 기준 답 일치 비율. 정밀도·재현율 공식의 근거는 아닙니다.

정밀도는 예측 양성, 재현율은 실제 양성이 분모이므로 같은 분류 결과에서도 서로 다른 질문에 답합니다.

전체 사례를 분모로 쓰는 정확도와 예측 양성을 분모로 쓰는 정밀도를 함께 읽어 전체 정답률과 표시한 양성의 정확성을 구분합니다.

같은 precision이라는 영문 이름을 쓰지만 수치 표현의 정밀도와 양성 예측의 정답 비율은 다른 개념이다.

Accuracy; Recall, or true positive rate; Precision; What does NaN mean in the metrics? · 분류 정확도·정밀도·재현율의 서로 다른 분모, 불균형 자료의 한계와 분모 0의 미정의.

Accuracy score; Precision, recall and F-measures — Binary classification · 분류 지표의 정확한 계산식과 TP·FP·FN·TN 구분. 패키지 설치나 API 사용법은 이 노트의 범위가 아닙니다.

「작업별 지표」(#s4)는 정확도만 예시한다. 양성 예측 중 실제 양성의 비율, 즉 정밀도의 분모·분자가 없다.

정밀도는 예측 양성, 재현율은 실제 양성이 분모이므로 같은 분류 결과에서도 서로 다른 질문에 답합니다.

전체 정답률이 높아도 드문 양성의 누락이 많을 수 있으므로 정확도와 실제 양성 기준의 재현율을 비교합니다.

Accuracy; Recall, or true positive rate; Precision; What does NaN mean in the metrics? · 분류 정확도·정밀도·재현율의 서로 다른 분모, 불균형 자료의 한계와 분모 0의 미정의.

Accuracy score; Precision, recall and F-measures — Binary classification · 분류 지표의 정확한 계산식과 TP·FP·FN·TN 구분. 패키지 설치나 API 사용법은 이 노트의 범위가 아닙니다.

「작업별 지표」(#s4)는 정확도만 예시한다. 실제 양성 중 찾아낸 비율, 즉 재현율의 분모·분자가 없다.

정밀도·재현율 및 그 조화평균의 정의·공식이 없다. 일반적인 프롬프트 평가 입문으로만 유효하다.

분류 정확도를 예로 들지만 실제 음성을 양성으로 판정한 오류인 오탐의 의미를 설명하지 않는다.

분류 정확도를 예로 들지만 실제 양성을 음성으로 판정한 오류인 미탐의 의미를 설명하지 않는다.

「회귀 평가」(#s4)가 변경 후 같은 검사를 다시 돌려 이전에 되던 조건이 유지되는지 확인하는 절차를 직접 정의한다.

「동작 원리」(#s2)와 「답변 품질 회귀 테스트」(#s9)가 고정 질문·기대 조건을 변경 후 다시 적용해 이전 합격 조건 유지 여부를 검사하는 절차를 설명한다.

「동작 원리」(#s2)와 「운영 중 추적」(#s10)이 질문·프롬프트 버전·검색 결과·출력을 한 실행 ID로 묶어 재현하는 기록을 설명한다.

「감시할 세 가지 신호」(#s3)가 운영 중 입력 자료나 입력·결과 관계가 학습 때와 달라지는 현상으로 드리프트를 풀이하고, 「입력 분포 감시」(#s5)와 「자주 묻는 질문」(#s11)이 같은 달 기준 분포와 현재 입력 분포의 비교, 입력·결과 관계의 변화를 성능 변화와 구분해 설명한다. 「한계와 리스크」(#s10)는 PSI가 커져도 업무 성능이 유지될 수 있음을 명시한다.

「운영 계획에 먼저 적을 것」(#s2), 「감시할 세 가지 신호」(#s3), 「입력 분포 감시」(#s5)가 성능 추세·입력 분포·경보 조건을 정해진 시점마다 관찰하는 활동을 설명한다. 예측 모델 운영 사례의 범위다.

「운영 중 추적」(#s10)은 실행 기록에 남길 항목과 로그의 개인정보·접근 권한·보존 기간을 다루고, 「선택지와 트레이드오프」(#s4)는 운영 추적 도구로 Opik을 든다. 정한 지표·경보로 품질·입력 변화 등을 지속 감시하는 절차는 설명하지 않는다.

TTFT는 요청부터 첫 토큰 수신까지라는 특정 구간의 지연시간이다.

단위 시간당 완료량과 개별 요청이 기다린 시간은 다른 성능 축이므로 한쪽의 개선으로 다른 쪽을 단정하지 않는다.

지표 정의표; 세 가지를 못 박는 것이 왜 결정적인가 · 첫 토큰·전체 응답 시간의 측정 사건, 큐·네트워크 포함 범위, 지연시간과 시스템 처리량의 구분.

본문은 비식별·회귀·추적 도구를 소개한다. 요청 도착부터 응답 제공까지의 경과 시간이라는 지연시간 정의나 측정 경계는 없다.

「토큰이 곧 비용·지연」(#s2)은 토큰 수와 응답 속도의 관계를 설명한다. 지연시간의 시작·종료 시점과 경과 시간 정의를 명시하지 않아 성능 배경 학습으로 분류한다.

TTFT는 요청부터 첫 토큰 수신까지라는 특정 구간의 지연시간이다.

Time to First Token / Tokens Per Second · 요청 제출부터 첫 토큰 수신까지의 TTFT와 여러 동시 요청의 출력 토큰 처리량. 측정 시작·종료 이벤트가 같아야 비교할 수 있다.

지표 정의표와 이벤트 절에서 첫 토큰 도달 시점 및 큐·네트워크 포함 범위를 명시한다.

단위 시간당 완료량과 개별 요청이 기다린 시간은 다른 성능 축이므로 한쪽의 개선으로 다른 쪽을 단정하지 않는다.

Time to First Token / Tokens Per Second · 요청 제출부터 첫 토큰 수신까지의 TTFT와 여러 동시 요청의 출력 토큰 처리량. 측정 시작·종료 이벤트가 같아야 비교할 수 있다.

처리 단위·집계·분모와 요청별 지연의 차이를 직접 설명한다.

같은 정답 전사를 대조하더라도 CER는 문자, WER는 단어를 기준으로 오류를 센다.

Metric description / Output values · 문자 단위 치환·삭제·삽입 오류 합을 정답 문자 수로 나누는 CER와 삽입이 많으면 1을 넘을 수 있다는 성질.

정답 글자 수를 분모로 한 CER의 기본 원리와 요구조자/요구소자 예시가 있다. 공백·정규화 처리에 따라 결과가 달라지므로 한국어에서 무조건 우월하다는 표현은 수록하지 않는다.

같은 정답 전사를 대조하더라도 CER는 문자, WER는 단어를 기준으로 오류를 센다.

WER를 계산하려면 정답 단어열과 단어 분할 규칙이 필요하다.

Metric description / Output values · 정답·예측 단어열을 정렬한 뒤 치환·삭제·삽입 오류 합을 정답 단어 수로 나누는 WER.

WER를 CER와 비교해 언급하지만 치환·삭제·삽입 공식은 제시하지 않으므로 정의 근거는 외부 metric card로 둔다.

객체 탐지 평가에서는 예측 영역과 정답 라벨 영역의 겹침을 IoU로 비교할 수 있다.

Intersection over Union — definition · 두 영역의 교집합 면적을 합집합 면적으로 나누는 IoU와 0~1 범위.

「라벨러 간 일치도(IAA)」(#s6)에 두 라벨러 상자의 겹침을 구하는 iou 함수 예제와 IoU 0.5 이상인 짝의 비율 집계가 있지만, 교집합을 합집합으로 나눈 비율이라는 IoU의 정의는 글로 설명하지 않는다. 탐지 상자의 라벨 기준과 사람 검수를 설명하는 배경 자료다.

탐지 mAP는 정답으로 인정하는 IoU 조건에 영향을 받으므로 그 기준을 함께 표시해야 한다.

Object Detection Metrics / Class-wise Metrics · PR 곡선을 요약한 AP를 클래스별로 평균하는 mAP와 mAP50·mAP50-95의 서로 다른 IoU 기준.

mAP를 객체 탐지 비교 지표로 소개하지만 AP 곡선과 IoU별 평균 정의는 생략하므로 상세 정의는 외부 원문에 둔다.

검증용·테스트용 데이터는 평가에 쓰되 모델 선택과 최종 평가의 역할을 나누어 관리한다.

Training, validation, and test sets · 학습·개발 중 검증·최종 테스트의 역할 구분과 반복적인 평가 데이터 사용이 독립성을 약화시키는 문제.

3.1 introduction / Cross-validation iterators for grouped data · 학습 사례에만 잘 맞고 처음 보는 자료에서 일반화하지 못하는 과적합과 평가용 자료를 분리하는 이유.

중복·유사 프레임의 학습·검증 누수를 설명하지만 학습·검증·최종 테스트 세 집합의 역할 정의는 외부 교재가 제공한다.

학습에 사용하지 않은 자료로 평가해야 학습 자료에만 잘 맞는 과적합을 점검할 수 있다.

3.1 introduction / Cross-validation iterators for grouped data · 학습 사례에만 잘 맞고 처음 보는 자료에서 일반화하지 못하는 과적합과 평가용 자료를 분리하는 이유.

모델 학습과 시간 분할 평가의 필요성을 다루지만 과적합 자체의 정의는 외부 scikit-learn 문서에 둔다.

학습·평가 누수는 평가의 독립성을 오염시키는 정보 사용이며 기존 데이터 유출은 보호 정보 노출의 의미다.

12.2 Data leakage · 예측 시점에 얻을 수 없는 정보가 모델 구성에 들어가 성능 평가가 낙관적으로 치우치는 누수. 전처리에서 평가 자료를 학습하는 누수도 포함한다.

「파생 변수 만들기」(#s6)가 예측 시점에 알 수 없는 그 기간의 출동 건수를 피처에 넣는 데이터 누수를 구체적으로 설명한다.

혼동행렬의 맞춘 양성·맞춘 음성·오탐·미탐 수를 이용해 분류 결과의 정확도와 오류 구성을 살펴볼 수 있다.

Classification threshold / Confusion matrix · 점수를 분류 결과로 바꾸는 임계값, 정답과 예측의 교차표, 임계값 변화에 따른 오탐·미탐 변화.

오탐·미탐과 정밀도·재현율 평가의 배경은 있지만 혼동행렬의 축과 네 칸 정의는 직접 제시하지 않는다.

같은 예측 점수도 판정 임계값이 바뀌면 혼동행렬의 오탐·미탐 집계가 달라진다.

확률이 실제 집단별 빈도와 맞는지 조정하는 과정과 점수를 분류 결과로 바꾸는 기준 선택은 다르다.

Classification threshold / Confusion matrix · 점수를 분류 결과로 바꾸는 임계값, 정답과 예측의 교차표, 임계값 변화에 따른 오탐·미탐 변화.

탐지 후보를 점수 임계값으로 거르는 원리와 임계 변경 시 오류 양상 변화를 설명한다. 특정 현장 설정값을 권장하는 근거로 사용하지 않는다.

확률이 실제 집단별 빈도와 맞는지 조정하는 과정과 점수를 분류 결과로 바꾸는 기준 선택은 다르다.

1.16 Probability calibration / Calibration curves · 예측 확률별 집단의 실제 양성 비율을 대조하는 확률 보정의 의미. 보정과 분류 정확도·임계값 선택은 별개의 평가 축이다.

FAQ에서 별도 보정·검증 전에는 점수를 실제 발생 확률로 읽지 말라고 설명한다. 보정의 정의와 집단별 비율 해석은 외부 원문으로 보완한다.

강건성을 평가하려면 유지해야 할 성능과 변화시킬 입력·환경 조건의 범위를 정해야 한다.

3.1 Valid and Reliable · 다양한 조건·상황에서 성능을 유지하는 강건성. 이는 하나의 평균 점수나 모든 환경의 안전 보증을 뜻하지 않는다.

잡음·겹침말 조건별 전사 품질 평가가 강건성 학습의 사례가 된다. 강건성의 일반 정의는 NIST 원문에 둔다.

도입문이 외부 전송이 제한된 자료나 인터넷과 분리된 내부망에서 모델을 기관 장비에서 실행하는 구성으로 온프레미스를 설명하고, 「설계 판단」(#s2)은 하드웨어·패치·모델 반입·접근 권한을 기관이 직접 관리한다고 적는다. 「핵심 정리」(#s12)는 온프레미스가 처리 위치를 정하는 방식이며 보안과 품질은 따로 확인한다고 밝힌다.

「다음 단계」(#s15)가 판정 모델과 답변 모델을 기관 망 안에서 운영하는 방법을 온프레미스 LLM 안내서로 잇는다고 짧게 안내할 뿐 온프레미스의 정의는 설명하지 않는다.

근거 없는 수치·인용이 자연스러운 문장에 섞일 수 있음을 먼저 알면 사람 검토에서 원문 대조가 필요한 이유를 이해하기 쉽습니다.

왜 환각이 생기나 — 원리; 대응 1순위: 근거 자료를 준다 · 언어 생성의 그럴듯함과 사실 대조의 차이, 근거가 부족한 내용을 채울 수 있는 오류.

환각은 0이 되지 않는다 — 검증으로 대비 · 자료 제공과 인용만으로 오류가 모두 사라지지 않으며 원문 대조와 사람 검토가 필요하다는 한계.

「지킬 것 3」(#s6)은 AI가 만든 사실을 원문과 대조하는 예방 지침이다. 그럴듯하지만 거짓·근거 없는 내용을 생성하는 환각 개념 자체는 정의하지 않는다.

제2조제1호 가목·나목·다목, 제1호의2 (2026-09-11 시행본) · 살아 있는 개인의 식별 정보, 쉽게 결합하는 경우의 판단 요소, 가명정보 포함. 기존 법령 정의를 바꾸거나 특정 사례의 적법성을 판정하지 않습니다.

점검은 3단입니다; 사람이 끝까지 봐야 하는 것; 정규식이 못 잡는 것 · 형태 탐지와 문맥 점검의 구분, 자동 검출 누락과 정보 조합의 재확인.

「위험 1」(#s2)은 개인정보를 입력하지 말라는 수칙과 마스킹 예시다. 직접 또는 다른 정보와 결합해 개인을 식별할 수 있는 정보라는 구별 기준은 풀이하지 않는다.

주민번호·전화·이름·주소를 탐지하는 사례는 있으나 PII라는 영어권 식별 정보 개념의 의미·범위를 직접 풀이하지 않는다.

본문에는 PII라는 말이 나오지 않는다. 개인정보 점검 스크립트와 사례는 설명하지만 PII의 영어권 실무 범위는 풀이하지 않으며, 개인정보의 국내 법률 정의와 자동으로 동일시하지 않는다.

「지킬 것 1」(#s4)이 의료·수사 정보·비공개 업무자료 등 입력 금지 예를 들고 업무자료·대외비 정의 원문은 용어 사전으로 보내지만, 특별 보호 정보와 업무상 기밀의 의미 범위·구분을 직접 정의하지 않는다.

「위험 1」(#s2)은 개인정보·비밀번호·내부 기밀·고객 데이터를 함께 예시한다. 건강·생체·신념 등 특별 보호 범위와 조직상 민감정보의 구분은 없다.

「설계 판단」(#s7), 「일관된 가명화」(#s6), 「한계와 리스크」(#s9)가 식별자 변환과 희소 조합의 일반화·제거로 재식별 가능성을 줄이는 처리를 설명한다. 법적 익명성 충족 판정은 아니다.

「위험 1」(#s2)은 익명화·가명화·마스킹을 권하지만 직접·간접 식별자의 제거·변환·일반화로 식별 가능성을 낮추는 포괄 개념은 설명하지 않는다.

「Presidio의 탐지와 익명화」(#s3)는 Presidio Anonymizer의 가리기 기능을 익명화로 부른다. 개인을 더 이상 알아볼 수 없는 상태인지 판단하는 익명화 개념·기준은 설명하지 않으며 뒤 절에는 재식별 위험이 남는다.

「일관된 가명화」(#s6)가 원본을 가명으로 치환하고 대응표를 별도 보관하는 처리와 추가 정보에 의한 재연결을 설명한다. 이 기술 사례가 법적 요건 충족을 보증하지는 않는다.

「Presidio의 탐지와 익명화」(#s3)의 개체 치환 예제와 「일관된 가명화」(#s6)의 이름을 가림 표식으로 바꾸는 설명이 원래 값의 노출을 줄이는 처리의 핵심을 보여준다.

「배경지식」(#s2)과 「용어 한 줄 사전」(#s13)이 원래 값을 바로 읽지 못하도록 일부 또는 전부를 가리는 처리로 직접 정의한다.

「일관된 가명화」(#s6)와 「한계와 리스크」(#s9)가 대응표 또는 나이·지역·희귀 직책 조합으로 비식별본을 원래 인물에 다시 연결하는 위험을 직접 설명한다.

본문의 승인은 보안·활용 담당자의 처리·보관 승인이다. 정보주체가 목적·항목·범위를 이해하고 자발적으로 의사를 표시하는 동의의 개념은 없다.

학습·평가 누수는 평가의 독립성을 오염시키는 정보 사용이며 기존 데이터 유출은 보호 정보 노출의 의미다.

「내보내기 전에 거르는 이유」(#s3), 「직접 해보기」(#s9), 로그 관련 FAQ(#s14)가 외부 검사·공개 저장소·파일 첨부·에이전트·점검 로그를 통한 개인정보의 의도하지 않은 노출을 구체적으로 설명한다. 학습·평가 데이터 누수의 뜻은 아니다.

「지킬 것 1」(#s4)은 전송 승인·최소화 지침이고 「용어 한 줄 사전」(#s13)은 외부 전송을 풀이한다. 의도하지 않은 정보 노출과 승인된 전송의 차이를 포함한 정보 유출 정의는 없다.

작업 지시와 참고 자료가 모델 입력에 함께 들어간다는 점을 먼저 배우면 자료 속 지시가 작업을 바꾸는 문제를 이해하기 쉽습니다.

Types of Prompt Injection Vulnerabilities; Prevention and Mitigation Strategies · 직접·간접 입력을 통한 행동 변경, 외부 자료 구분과 최소 권한·검증·사람 승인, 단일 방어의 한계.

지킬 것 5 — 사람 검토 없이 내보내거나 실행하지 않습니다 · 검토자의 자료·업무 맥락·권한과 미확인 상태 유지, 검토 판정과 결재·업무 승인의 구분.

「위험 2: 프롬프트 주입」(#s3)이 외부 데이터에 숨은 악성 지시를 모델이 명령으로 오인해 따르는 공격과 지시·자료의 신뢰 경계를 직접 설명한다.

본문에 모델·서비스의 안전 제한을 우회하는 입력 전략인 탈옥 설명이 없다. 일반 안전 지침과 공격 개념을 구분해야 한다.

본문은 프롬프트 인젝션과 과도한 도구 권한을 설명한다. 모델·서비스의 안전 제한을 우회하는 탈옥의 정의와 인젝션과의 차이는 없다.

지킬 것 다섯 가지는 사람이 지킬 사용 원칙이다. 입력·출력·도구·권한 경계에서 위험을 탐지·차단하는 가드레일 장치의 개념은 풀이하지 않는다.

근거 없는 수치·인용이 자연스러운 문장에 섞일 수 있음을 먼저 알면 사람 검토에서 원문 대조가 필요한 이유를 이해하기 쉽습니다.

세 가지 판정 — pass · needs changes · block · 원자료 대조, 수정 후 재검토와 중단 판단. 기존 안내서의 학습 절차를 설명하며 업무 승인을 새로 정의하지 않습니다.

지킬 것 5 — 사람 검토 없이 내보내거나 실행하지 않습니다 · 검토자의 자료·업무 맥락·권한과 미확인 상태 유지, 검토 판정과 결재·업무 승인의 구분.

검토 기록을 남기기 · 입력·도구·대조 항목·수정 사항·검토자·확인일을 결과와 연결하는 실무 기록.

「인증·보안」(#s3)의 최소 권한 원칙 항목이 꼭 필요한 만큼만 권한을 부여하는 원칙을 직접 정의한다.

「지킬 것 1」(#s4)은 입력 데이터 최소화다. 「지킬 것 5」(#s8)는 에이전트에 그 일에 필요한 계정과 폴더만 연결하라고 적고 용어 사전의 최소 권한으로 잇지만, 주체·도구에 꼭 필요한 접근 권한만 부여하는 최소 권한 원칙 자체는 풀이하지 않는다.

최소 권한 원칙을 읽고 필요한 명령에만 일시적으로 관리자 권한을 부여하는 개발 환경 예를 확인한다. sudo 자체가 모든 최소 권한 요구를 충족한다는 뜻은 아니다.

「인증·보안」(#s3)이 인증을 누구인가 확인하는 과정으로 직접 정의하고 인가와 나누어 설명한다.

「인증·보안」(#s3)이 인가를 무엇을 해도 되는가 정하는 과정으로 직접 정의하고 인증과 구분한다.

인가 개념에서 Windows의 시스템 변경 전 관리자 승인이라는 구체 사례로 이동한다. UAC는 인가 일반 정의의 동의어가 아니다.

「인증·보안」(#s3)은 인가·scope·RBAC를 풀이하지만 주체·조건·행동의 정책을 제한·집행하는 접근통제 일반 개념은 직접 정의하지 않는다. RBAC 사례를 일반 정의로 대체하지 않는다.

자료를 다룰 권한과 기관 승인 확인은 언급하지만, 주체별 조건·행동 정책을 제한·집행하는 접근통제 구조는 설명하지 않는다.

「운영 중 추적」(#s10)은 질문·프롬프트 버전·검색·출력의 추적 기록과 개인정보 처리 시스템의 접속기록 보관 기간 확인을 다룬다. 감사 로그는 언급하지 않으며, 주체·시각·실행·승인 결과를 남기는 감사 추적 정의와 구체 필드는 없다.

「멈춰야 하는 신호와 돌아갈 곳」(#s9)은 검토자와 원자료 대조 기록 없이 발송·공개·실행하려는 경우를 멈출 신호로 들지만, 행위 주체·시각·변경·실행·승인 결과의 사후 추적이라는 감사 기록 개념은 직접 정의하지 않는다.

1. Introduction · 자료 생성에 관여한 개체·활동·사람, 처리 단계·버전·유래의 기록과 신뢰성 판단의 자료라는 범위.

검토 기록을 남기기 · 입력·도구·대조 항목·수정 사항·검토자·확인일을 결과와 연결하는 실무 기록.

점검은 3단입니다; 사람이 끝까지 봐야 하는 것; 정규식이 못 잡는 것 · 형태 탐지와 문맥 점검의 구분, 자동 검출 누락과 정보 조합의 재확인.

「골든셋 만들기」(#s3), 「회귀 평가」(#s4), 「설계 판단」(#s7), 「운영 시나리오」(#s8)가 출처·조문·확인일·버전·스냅샷·실행 ID를 연결해 응답 근거와 변경 이력을 재현하는 정보를 설명한다. RAG 운영 사례의 범위다.

「왜 느낌으로는 부족한가」(#s2)의 표본 편향과 「평가의 단짝」(#s5)의 채점 모델 편향 경고는 있다. 집단·상황별 체계적 오류·영향 차이라는 AI 편향의 정의는 설명하지 않는다.

본문은 사실·수치·출처·개인정보·권한의 제출 점검이다. 특정 집단·상황에 오류나 영향이 체계적으로 달라지는 편향은 풀이하지 않는다.

「좋은 답 vs 검증 가능한 답」(#s1)은 검증 가능성을 정의한다. AI 시스템의 결과·근거·처리 과정에 대한 설명 가능성 개념과 검증 가능성의 차이는 설명하지 않는다.

원문 근거의 위치를 드러내고 검토 기록을 남기는 지침은 있지만 AI 시스템의 결과·처리 과정을 설명할 수 있는 정도라는 개념은 정의하지 않는다.

위험한 상황에서 지킬 것은 나열하지만 위해의 가능성·영향·노출·기존 통제를 식별하고 허용 여부를 정하는 위험평가 절차는 설명하지 않는다.

안내서가 아닌 법령 허브의 원천 data/ai-laws.json에서 ai-basic-act.key_articles 제2조 note가 생명·신체 안전·기본권에 중대한 영향을 주는 영역별 정의를 설명한다. 내부 설명 적합성만 대조했으며 현행 법률 원문을 새로 검증한 판정은 아니다.

「지킬 것 4」(#s7)는 법령 후보·해석·처분 판단의 경계다. 법에 열거된 영역과 생명·신체·기본권 영향을 기준으로 하는 고영향 AI의 정의는 없다.

data/ai-laws.json의 pipa.key_articles 제37조의2 note가 완전 자동화 시스템의 개인정보 처리 결정, 설명 요구·거부와 예외를 직접 설명한다. ai-output-review의 일반 자동 승인 사례와 구분하며 법률 원문 최신성의 신규 확인은 아니다.

「업무별 점검 예시」(#s11)의 자동 승인 금지 사례는 권한 없는 약속의 점검이다. 완전히 자동화된 개인정보 처리 결정과 정보주체 권리라는 법률 개념은 없다.

이 장은 Fork·upstream·PR 절차와 기여 매너를 다룬다. 라이선스 조건·의무나 라이선스 파일이 없는 경우의 의미는 설명하지 않는다.