Field Log · Entry

LLM 불확실성과 Calibration: 모르면 멈추게 만들기 (4/10)

여러 LLM 응답을 의미별 cluster로 묶어 semantic uncertainty를 계산하고 calibration threshold에 따라 답변 재검색 질문 중단으로 routing하는 구조

오늘의 결론

LLM의 불확실성은 한 숫자가 아닙니다. 다음 token의 분포, 전체 sequence probability, 여러 sample의 의미적 불일치, model이 말로 표현한 confidence, 외부 verifier score는 서로 다른 signal입니다.

Calibration은 confidence가 높은 순서로 정렬되는 것만 뜻하지 않습니다. 예측값이 0.8인 사례 집합에서 정의한 성공 사건이 실제로 약 80% 발생하는지를 묻습니다.

자연어는 같은 뜻을 여러 문장으로 표현합니다. Token·문장 표면의 entropy보다 의미가 같은 답을 cluster한 semantic uncertainty가 더 적합한 경우가 있습니다. Cluster 자체도 entailment 오류를 낼 수 있으므로 검증합니다.

Production 목표는 모든 질문에 confidence를 붙이는 것이 아니라, 허용 위험 아래 최대한 많은 요청에 답하는 selective prediction입니다. 낮은 confidence에서는 재검색·tool·clarifying question·human escalation·abstention으로 이동합니다.

Calibration은 model·prompt·retrieval·domain·언어·시간이 바뀌면 깨집니다. 전체 ECE 하나가 아니라 slice별 reliability와 risk–coverage를 versioned set에서 계속 측정합니다.

앞 글에서는 ORM·PRM·value model이 각각 다른 사건을 score한다는 점을 배웠습니다. 이제 그 score나 model confidence를 확률처럼 해석할 수 있는지, 불확실할 때 RAG Agent가 어떤 행동을 해야 하는지 다룹니다.

uncertainty signals
  token distribution · sequence score · sample disagreement
  semantic entropy · verbal confidence · verifier score

calibration data
  signal + observed outcome → risk estimate

decision
  answer | retrieve | use tool | ask | escalate | abstain

여러 LLM 후보를 의미가 같은 답끼리 cluster해 semantic uncertainty를 만들고 reliability calibration과 risk coverage threshold를 거쳐 답변 재검색 도구 질문 human escalation 중단으로 routing하는 구조

그림 1. 불확실성 추정은 최종 목적이 아니다. 관측된 오류 비용과 calibration set을 이용해 어떤 요청에 답하고 어떤 요청을 다른 행동으로 보낼지 결정해야 한다.

먼저 “무엇이 불확실한가”를 쓴다

다음 질문은 서로 다릅니다.

Q1. 다음 token이 무엇일지 분포가 넓은가?
Q2. 생성한 answer가 정답일 확률은 얼마인가?
Q3. 이 claim이 evidence로 지지될 확률은 얼마인가?
Q4. Retrieval corpus 안에 답이 존재하는가?
Q5. Tool action이 목표 state를 만들 것인가?
Q6. 지금 답하는 것이 정책상 안전한가?

Token entropy가 낮아도 model이 자신 있게 오래된 사실을 말할 수 있습니다. Retrieval score가 높아도 문서가 질문의 핵심 조건을 포함하지 않을 수 있습니다. Verifier가 답의 사실성을 높게 평가해도 사용자에게 write 권한이 있는지는 알 수 없습니다.

Uncertainty variable을 contract로 만듭니다.

uncertainty_target:
  event: "all critical answer claims are supported"
  unit: "one final response"
  population: "Korean policy QA, corpus v12"
  horizon: "before returning to user"
  label_source: "human adjudication + evidence spans"
  action_thresholds:
    answer: "estimated risk <= target"
    otherwise: "retrieve_or_abstain"

이 정의가 바뀌면 같은 score도 다시 calibration해야 합니다.

Aleatoric과 Epistemic 불확실성

Machine learning에서는 흔히 두 직관을 구분합니다.

Aleatoric: 문제 자체의 모호성

질문에 필요한 정보가 빠졌습니다.
여러 답이 모두 허용됩니다.
Label 기준이 사람 사이에서도 다릅니다.
문서들이 서로 충돌합니다.

더 큰 model만으로 사라지지 않을 수 있습니다. 사용자에게 질문하거나 여러 답을 제시하고 조건을 명시해야 합니다.

Epistemic: 모델의 지식·능력 부족

Training에서 충분히 보지 못한 domain입니다.
새 정책이나 schema로 distribution이 이동했습니다.
Model이 계산·추론 pattern을 배우지 못했습니다.
Retrieval이 필요한 evidence를 제공하지 못했습니다.

더 좋은 data, retrieval, model, tool로 줄일 수 있습니다.

LLM의 관측 가능한 score만으로 둘을 완벽히 분리하기는 어렵습니다. 실무에서는 “추가 정보나 computation이 uncertainty를 줄이는가?”라는 intervention으로 진단합니다.

retrieve newer evidence → confidence improves?
ask missing date        → ambiguity resolves?
run calculator          → numeric uncertainty disappears?
switch stronger model   → answer stabilizes?

Token Probability와 Entropy

한 decoding step에서 vocabulary token 확률이 p(v)라면 entropy는:

H(token | context)
  = − Σ_v p(v) log p(v)

분포가 한 token에 집중되면 entropy가 낮고 여러 token에 퍼지면 높습니다.

무엇을 알려 주는가

다음 token 선택이 얼마나 분산돼 있는가
Decoding position별 lexical ambiguity
특정 label token의 relative confidence

무엇을 보장하지 않는가

문장 전체 사실성
숨겨진 대안 answer의 의미 차이
외부 세계의 현재 상태
Calibration된 정답 확률

예를 들어 “대한민국의 수도는 서…” 다음에는 “울” token 확률이 매우 높을 수 있습니다. 반대로 이름의 표기나 자연스러운 문장 연결에는 여러 token이 가능해 entropy가 높아도 사실은 동일할 수 있습니다.

Tokenizer 의존성

동일한 text가 model마다 다른 token으로 나뉩니다. Token entropy의 scale과 position 수가 달라지므로 model 간 raw entropy를 바로 비교하지 않습니다.

Sequence Probability와 Length Bias

출력 sequence y₁:T의 log probability는:

log p(y | x)
  = Σ_t log p(y_t | x, y_<t)

모든 token의 확률을 곱하므로 긴 sequence는 대체로 더 작은 probability를 갖습니다. 후보 길이를 비교하려고 평균 log probability를 쓰기도 합니다.

mean logprob
  = (1/T) Σ_t log p(y_t | x, y_<t)

하지만 길이 normalization도 정답성을 calibration하지 않습니다.

짧은 오답이 높은 평균 logprob를 가질 수 있습니다.
흔한 표현의 hallucination은 확률이 높을 수 있습니다.
Rare하지만 정확한 entity spelling은 확률이 낮을 수 있습니다.
Chat API가 token logprob를 제공하지 않을 수 있습니다.
Prompt와 decoding 변경이 score distribution을 바꿉니다.

Sequence score는 feature일 뿐 confidence 그 자체로 선언하지 않습니다.

Verbalized Confidence

Model에게 직접 확률을 묻는 방식입니다.

answer: ...
confidence_that_answer_is_correct: 0.72

“Language Models (Mostly) Know What They Know” 연구는 적절한 format에서 model의 P(True)나 P(IK) 자기평가가 유용할 수 있음을 탐구했습니다. 이 결과를 모든 최신 model·domain에 자동 적용하지 않습니다.

장점

Logprob가 없는 API에서도 사용할 수 있습니다.
Answer correctness처럼 원하는 event를 직접 질문할 수 있습니다.
Evidence를 추가한 전후의 변화도 관찰할 수 있습니다.

위험

숫자가 자연어 style이나 prompt example을 모방할 수 있습니다.
“확신한다”는 표현이 실제 calibration과 다를 수 있습니다.
사용자가 원하는 답에 맞춰 confidence가 올라갈 수 있습니다.
같은 model이 answer와 confidence에서 같은 오류를 공유합니다.
72%라는 정밀한 숫자가 근거 없는 정밀성일 수 있습니다.

Verbal confidence도 held-out labeled set에서 reliability curve를 그린 뒤 사용합니다.

Answer-before-Evaluation

Answer를 먼저 생성한 뒤 별도 call에서 answer와 evidence를 보고 correctness를 평가하게 할 수 있습니다.

call 1: generate candidate answer
call 2: estimate P(correct | question, answer, evidence)

두 call을 분리해도 model family·data·bias가 공유될 수 있습니다. Independent verifier와 executable check를 함께 둡니다.

Sample Agreement

같은 질문에서 여러 answer를 sampling하고 합의율을 confidence feature로 씁니다.

answers: A, A, B, A, C
top vote share = 3 / 5

단순 합의는 다음을 놓칩니다.

“13”과 “13개입니다”는 같은 의미입니다.
긴 답 두 개가 대부분 같지만 한 critical claim만 다를 수 있습니다.
모든 sample이 같은 잘못된 evidence를 사용하면 높은 합의로 오답입니다.
Sampling temperature와 N이 바뀌면 합의율 분포가 달라집니다.

그래서 표면 string이 아니라 semantic equivalence를 고려합니다.

Semantic Entropy

Semantic uncertainty는 자연어의 여러 표현을 같은 의미 class로 묶습니다.

samples:
  y1 = "환불 가능합니다."
  y2 = "환불 대상입니다."
  y3 = "구매일 정보가 없어 판단할 수 없습니다."
  y4 = "환불 가능합니다."

semantic clusters:
  C1 = {y1, y2, y4}  # eligible
  C2 = {y3}          # insufficient information

Cluster probability를 sample 빈도나 normalized sequence likelihood로 근사합니다.

p(C_k) = Σ_{y ∈ C_k} p(y | x)

H_semantic
  = − Σ_k p(C_k) log p(C_k)

의미가 같은 표현이 많아도 한 cluster에 모이므로 lexical diversity와 semantic disagreement를 구분할 수 있습니다.

Equivalence 판정

다음 방법을 사용할 수 있습니다.

Task-specific answer normalizer
Bidirectional entailment
Embedding similarity + threshold
LLM judge의 equivalence classification
Structured field 비교

Structured task에서는 가능하면 deterministic equivalence를 사용합니다.

currency answer:
  normalize amount + currency + date basis

policy decision:
  compare decision enum + required condition set

Cluster 오류

서로 모순되는 답을 같은 cluster로 합칠 수 있습니다.
같은 결론이지만 이유와 safety implication이 다른 답을 합칠 수 있습니다.
Entailment model이 domain·한국어에 약할 수 있습니다.
Rare correct answer가 작은 cluster로 남을 수 있습니다.
Sampling budget이 작으면 cluster mass 추정 variance가 큽니다.

Semantic entropy는 correctness를 직접 증명하지 않습니다. 의미적 불일치의 signal이며 labeled outcome과 calibration해야 합니다.

Retrieval Uncertainty를 별도로 본다

RAG에서는 model uncertainty와 evidence uncertainty가 얽힙니다.

Retrieval Score는 Probability가 아니다

Cosine similarity 0.82, BM25 14.3, reranker logit 5.1을 “82% 관련”으로 해석할 수 없습니다. Query·corpus·length·model에 따른 ranking score입니다.

Evidence-level Feature

Top-1과 top-2 score margin
Relevant document recall estimate
Evidence coverage of required subquestions
Source authority와 freshness
Retrieved documents 간 contradiction
ACL filtering 후 남은 candidate 수
Query rewrite 간 result stability
Unanswerable detector

이 feature들을 final answer correctness label에 맞춰 calibration할 수 있지만, corpus version이 바뀌면 다시 검증합니다.

Retrieval Intervention

before retrieval:
  answer clusters disagree

after authoritative evidence:
  one semantic cluster dominates
  and claims are entailed

이 변화는 evidence가 uncertainty를 줄였다는 유용한 신호입니다. 반대로 retrieval 뒤에도 conflict가 남으면 더 긴 CoT보다 질문·abstention이 맞을 수 있습니다.

Calibration이란 무엇인가

Binary event Y∈{0,1}에 대해 confidence q가 calibration됐다면 직관적으로:

P(Y = 1 | predicted confidence = q) = q

연속값에서는 정확히 같은 score의 사례가 적으므로 bin이나 calibration model을 사용합니다.

Calibration과 Discrimination

discrimination:
  successful cases score above failures

calibration:
  score magnitude matches observed frequency

모든 positive에 0.6, negative에 0.4를 주는 model은 ranking이 완벽하지만 확신은 약합니다. 모든 사례에 base rate 0.8을 주는 model은 전체 calibration이 맞아 보여도 개별 case를 구분하지 못합니다. 둘 다 봐야 합니다.

Brier Score

Binary outcome에서:

Brier
  = (1/N) Σ_i (q_i − y_i)²

낮을수록 좋고 calibration과 discrimination을 함께 반영합니다. Class imbalance와 비교하려면 base-rate predictor의 score도 함께 보고합니다.

Negative Log-Likelihood

NLL
  = −(1/N) Σ_i [y_i log q_i + (1−y_i) log(1−q_i)]

Overconfident error에 큰 벌점을 줍니다. q=0이나 1은 수치 문제를 피하도록 clip하되, clipping rule을 기록합니다.

Expected Calibration Error

Confidence를 bin B_m으로 나눕니다.

ECE
  = Σ_m |B_m|/N
      · |accuracy(B_m) − confidence(B_m)|

편리하지만 bin 개수·경계에 민감하며 한 숫자로 상쇄될 수 있습니다.

Reliability diagram을 함께 봅니다.
Equal-width와 equal-frequency bin을 구분합니다.
Sample이 적은 bin의 confidence interval을 표시합니다.
Language·risk·length slice ECE를 봅니다.
ECE만 최적화하지 않습니다.

Calibration 방법

Temperature Scaling

분류 logit z를 calibration set에서 학습한 temperature T로 나눕니다.

p_calibrated = softmax(z / T)

Class ranking을 유지하면서 confidence sharpness를 조절합니다. 자연어 sequence 전체에 그대로 적용되는 만능 방법은 아닙니다.

Logistic/Platt Scaling

Raw score 하나나 여러 feature를 logistic regression으로 outcome probability에 매핑합니다.

q = sigmoid(a · score + b)

Isotonic Regression

Score와 outcome 사이의 monotonic한 비선형 mapping을 학습합니다. Flexible하지만 calibration data가 적으면 overfit할 수 있습니다.

Multi-feature Calibrator

features:
  verifier score
  semantic entropy
  retrieval margin
  evidence coverage
  answer length
  tool success
  domain / language

강력하지만 model이 하나 더 생깁니다. Train/calibration/test를 분리하고 feature drift를 모니터링합니다.

Calibration set을 threshold tuning과 final report에 동시에 쓰지 않습니다.

Selective Prediction과 Abstention

모든 요청에 답하지 않고 confidence가 충분한 subset만 답합니다.

if estimated_risk(x) ≤ τ:
  answer
else:
  defer / retrieve / ask / abstain

Coverage

coverage(τ)
  = answered cases / all cases

Selective Risk

risk(τ)
  = errors among answered cases / answered cases

Threshold를 엄격하게 하면 coverage는 줄고 risk도 보통 줄어듭니다. 이 관계를 risk–coverage curve로 봅니다.

AURC

Risk–coverage curve 아래 면적을 요약할 수 있습니다. 하지만 critical slice의 risk target은 aggregate AURC보다 hard gate로 둡니다.

Abstention도 정답 Label이다

“모르겠습니다”만 생성한다고 좋은 abstention은 아닙니다.

답할 수 있을 때 과도하게 거절하는가?
답할 수 없을 때 추측하는가?
왜 부족한지 올바른 정보를 요청하는가?
위험한 경우 human에게 정확히 escalation하는가?

Answerable/unanswerable label과 action utility를 함께 평가합니다.

Conformal Prediction의 경계

Conformal prediction은 calibration set과 exchangeability 같은 가정 아래 prediction set의 marginal coverage guarantee를 제공합니다. Conformal Language Modeling은 여러 candidate를 sampling하고 rejection·stopping을 calibration해 acceptable answer를 포함하는 set을 만드는 방향을 제안합니다.

중요한 해석:

Guarantee는 보통 개별 요청의 “90% 정답 확률”이 아닙니다.
Calibration과 test가 교환 가능하다는 가정이 필요합니다.
Acceptable answer를 판정하는 score·label이 필요합니다.
Domain·시간·model이 바뀌면 coverage가 깨질 수 있습니다.
Set이 너무 커지면 실용성이 낮습니다.

“Conformal”이라는 이름만 붙여 distribution-free 안전을 주장하지 않습니다. Assumption, calibration size, target coverage, empirical slice coverage를 함께 공개합니다.

RAG Agent의 Uncertainty Router

Confidence를 사용자에게 숫자로 보여 주기 전에 행동 정책에 연결합니다.

decision_policy:
  if:
    authorization_missing: ask_for_approval
    required_field_missing: ask_clarifying_question
    evidence_not_found: abstain_or_escalate
    evidence_conflict: retrieve_authoritative_source
    numeric_claim_unverified: call_calculator
    estimated_risk_above_target: stronger_verify_or_human
    otherwise: answer_with_citations

Action별 예상 가치

단순 threshold보다 각 action이 uncertainty를 얼마나 줄이고 얼마가 드는지 비교할 수 있습니다.

choose action a maximizing:
  expected task utility after a
  − latency cost
  − monetary cost
  − side-effect risk

이 값도 정확히 알기 어렵지만 다음 실험으로 추정할 수 있습니다.

Retrieval 한 번 추가 후 correctness 변화
Stronger model escalation의 incremental gain
Clarifying question에 대한 사용자 응답률
Human queue의 latency와 correction rate
Calculator/tool call의 error reduction

단계별 Policy 예시

1. cheap answer + evidence coverage check
2. low coverage → query rewrite / retrieve
3. conflicting evidence → source authority check
4. semantic disagreement → verifier / tool
5. unresolved high-risk → human escalation
6. unresolved low-risk → calibrated abstention

각 단계에 total deadline과 repetition limit을 둡니다.

Confidence를 그대로 사용자에게 보이지 않는다

“87% 확실합니다”는 calibration population과 event가 없으면 오해를 부릅니다. 사용자에게는 검증 가능한 상태를 보여 줍니다.

확인됨:
  policy-v12 §3.1에서 일반 기한 확인

확인 필요:
  구매일이 없어 14일 이내인지 판단 불가

다음 행동:
  구매일을 알려주시면 적용 여부를 계산합니다.

Calibration Dataset 설계

Split

training:
  uncertainty/verifier model 학습

calibration:
  mapping과 threshold 선택

locked test:
  최종 risk–coverage 보고

Group·Temporal Split

같은 문서·template·entity의 변형이 calibration과 test에 나뉘면 leakage가 생깁니다. Document family와 시간으로 분리합니다.

필요한 Slice

Answerable / unanswerable
Evidence sufficient / missing / conflicting
Simple lookup / calculation / multi-hop
Korean / English / mixed terminology
Short / long context
Seen / unseen domain
Low / high-risk action
In-distribution / recent policy
Different generator/model version

Label

Confidence target과 동일한 사건을 label합니다.

target = all critical claims supported

not target = answer style preference
not target = citation count
not target = user satisfaction alone

Human adjudication guide와 evidence span을 남깁니다.

Drift Monitoring

다음 변화는 recalibration trigger입니다.

Model snapshot 또는 quantization
System prompt와 chat template
Decoding temperature와 sample count
Retriever·reranker·corpus
Tool schema와 environment
Domain·language·traffic mix
Verifier model·prompt
Answer length policy

Production에서는 delayed label이 생긴 사례로 rolling reliability를 추정하되 selection bias를 주의합니다. 답한 사례만 label하면 abstained population의 성능을 모릅니다. 일부 defer case를 안전하게 human review하는 exploration이 필요합니다.

흔한 실패와 처방

1. Token Probability를 정답 확률로 부른다

유창한 오답도 높은 likelihood를 가질 수 있습니다.

처방: Desired outcome label에 별도 calibration합니다.

2. “확신한다”는 문장을 Calibration으로 본다

Style은 frequency guarantee가 아닙니다.

처방: Verbal confidence의 reliability curve를 그립니다.

3. String Diversity를 Semantic Uncertainty로 본다

표현만 다른 같은 답이 많을 수 있습니다.

처방: Task-specific normalization이나 semantic clustering을 사용합니다.

4. Sample 합의가 높으면 정답이라고 본다

공유 evidence와 bias로 모두 같은 오답일 수 있습니다.

처방: Evidence entailment와 counterfactual test를 결합합니다.

5. ECE 하나만 최소화한다

Bin 상쇄와 critical slice failure를 숨깁니다.

처방: Reliability diagram, Brier/NLL, slice risk–coverage를 함께 봅니다.

6. Calibration Set으로 Threshold와 성능을 같이 보고한다

Optimistic bias가 생깁니다.

처방: Locked test를 분리합니다.

7. Abstention을 무조건 안전하다고 본다

필요한 답까지 거절하거나 잘못된 이유로 escalation할 수 있습니다.

처방: Coverage, selective risk, action utility를 함께 평가합니다.

8. Corpus가 바뀌어도 Confidence Mapping을 유지한다

Retrieval feature와 answer correctness 관계가 변합니다.

처방: Version change를 recalibration trigger로 둡니다.

Production 체크리스트

스스로 확인하기

Token entropy가 낮아도 factual answer가 틀릴 수 있는 이유는 무엇인가?
Sequence probability가 긴 답을 불리하게 만드는 이유는 무엇인가?
Verbalized confidence와 observed calibration은 어떻게 다른가?
Sample agreement와 semantic entropy의 차이는 무엇인가?
Semantic cluster 판정기가 틀리면 uncertainty가 어떻게 왜곡되는가?
Calibration과 discrimination이 각각 답하는 질문은 무엇인가?
Brier score와 ECE의 장단점은 무엇인가?
Risk–coverage curve에서 coverage를 높이면 보통 어떤 trade-off가 생기는가?
Abstention을 하나의 action으로 평가해야 하는 이유는 무엇인가?
Conformal coverage가 개별 응답의 정답 확률과 다른 이유는 무엇인가?
RAG corpus가 바뀌면 calibration이 깨질 수 있는 이유는 무엇인가?
답한 사례만 production label로 모으면 어떤 selection bias가 생기는가?

작은 실습

Answerable 70개, unanswerable 30개의 RAG QA set을 준비합니다.

각 질문에서 answer 8개를 sample합니다.
String normalization과 semantic clustering 결과를 비교합니다.
Top-cluster share, semantic entropy, verifier score, retrieval margin을 기록합니다.
Human-labeled correctness에 logistic calibrator를 학습합니다.
별도 locked test에서 Brier·reliability diagram을 만듭니다.
Threshold별 risk–coverage와 abstention F1을 계산합니다.
Low confidence case에 재검색했을 때 risk와 비용 변화를 측정합니다.
최종적으로 answer/retrieve/ask/abstain policy를 YAML로 고정합니다.

목표는 confidence 숫자를 예쁘게 만드는 것이 아닙니다. 허용 가능한 오류율을 지키면서 얼마나 많은 요청을 자동으로 안전하게 처리할 수 있는지 측정하는 것입니다.

다음 글은 LLM Hallucination과 Factuality: Claim·Evidence·Citation 평가입니다. Confidence가 낮다는 signal을 넘어 실제 답의 어느 claim이 어떤 근거와 충돌하거나 지지되지 않는지 진단합니다.