blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Series · Folio

LLM 추론·신뢰성·Agent 학습

10 parts

Reasoning에서 도구·궤적 학습과 모델 라우팅까지 이어지는 초·중급 10편

Chain of Thought에서 test time compute, verifier, 불확실성, 사실성, 구조화 출력, 합성 데이터, 도구 학습, 궤적 학습, 모델 라우팅으로 이어지는 로드맵
대상
Transformer·RAG·Agent 기초를 익힌 뒤 추론 품질과 신뢰성을 측정하고 도구 행동을 학습시키려는 초·중급 개발자
읽고 나면
추론문과 실제 근거를 구분하고 inference compute·verifier·불확실성·사실성을 측정하며, 구조화 출력·합성 데이터·도구와 궤적 학습·모델 라우팅을 운영 가능한 RAG Agent에 연결할 수 있음
추천 진입
01편 → 02편 → 04편 → 06편 → 08편 → 10편
№001 llm-reasoning-reliability-foundations · 01

Chain-of-Thought 입문: LLM 추론문과 실제 근거 구분하기 (1/10)

Chain-of-Thought가 중간 token으로 계산을 확장하는 원리를 익히고 정답성·설득력·충실성을 분리합니다. RAG Agent에서는 숨은 생각 대신 증거·도구 결과·검증 기록으로 추론을 감사하는 방법을 설계합니다.

#LLM #ChainOfThought #Reasoning #RAGAgent
질문에서 여러 중간 추론 token을 거쳐 답을 만들되 추론문과 인과적 증명을 구분하고 외부 증거와 도구로 검증하는 구조
№002 llm-reasoning-reliability-foundations · 02

Test-time Compute: Self-Consistency·Best-of-N·Search 설계 (2/10)

LLM 추론 시 여러 후보에 계산 예산을 쓰는 self-consistency, pass@k, Best-of-N, verifier search를 구분합니다. 난이도별 adaptive budget과 중단 조건을 품질·지연·비용 SLO로 설계합니다.

#LLM #TestTimeCompute #SelfConsistency #BestOfN
하나의 질문에서 여러 추론 후보를 병렬 생성하고 합의 또는 verifier로 선택하며 난이도와 SLO에 따라 계산 예산을 조절하는 구조
№003 llm-reasoning-reliability-foundations · 03

Verifier와 Process Supervision: ORM·PRM·Value Model (3/10)

LLM 후보를 고르는 ORM·PRM·value model·generative verifier를 구분합니다. 단계 label과 search 결합, calibration, distribution shift, reward hacking을 RAG Agent 사례로 설계합니다.

#LLM #Verifier #ProcessSupervision #RewardModel
최종 답을 평가하는 ORM과 중간 단계를 평가하는 PRM 및 미래 성공을 추정하는 value model을 후보 생성과 search에 연결하는 구조
№004 llm-reasoning-reliability-foundations · 04

LLM 불확실성과 Calibration: 모르면 멈추게 만들기 (4/10)

LLM의 token 확률·verbal confidence·sample agreement·semantic entropy를 구분하고 Brier·ECE·risk-coverage로 calibration을 평가합니다. RAG Agent가 답변·재검색·질문·중단을 선택하도록 설계합니다.

#LLM #Uncertainty #Calibration #SemanticEntropy
여러 LLM 응답을 의미별 cluster로 묶어 semantic uncertainty를 계산하고 calibration threshold에 따라 답변 재검색 질문 중단으로 routing하는 구조
№005 llm-reasoning-reliability-foundations · 05

LLM Hallucination과 Factuality: Claim·Evidence·Citation 평가 (5/10)

LLM 답을 atomic claim으로 분해해 근거 지지·모순·부족으로 판정합니다. FActScore·SAFE·ALCE 관점의 factuality와 citation 정확성·coverage, RAG 오류 귀속을 설계합니다.

#LLM #Hallucination #Factuality #Grounding
LLM 장문 답변을 atomic claim으로 분해하고 각 claim을 evidence span과 대조해 지원 모순 근거 부족으로 판정하며 citation 정확성과 coverage를 계산하는 구조
№006 llm-reasoning-reliability-foundations · 06

Structured Generation: JSON Schema·FSM·CFG로 출력 강제하기 (6/10)

LLM 구조화 출력을 prompt와 재시도에 맡기지 않고 JSON Schema·FSM·CFG로 토큰을 제한합니다. 문법 컴파일, token mask, 의미 검증과 지연 평가를 설계합니다.

#LLM #StructuredGeneration #ConstrainedDecoding #JSONSchema
JSON Schema를 문법 상태 기계로 컴파일하고 매 생성 단계에서 허용 토큰만 남긴 뒤 의미 검증과 권한 검사를 거쳐 도구를 실행하는 흐름
№007 llm-reasoning-reliability-foundations · 07

Synthetic Data와 Distillation: Rejection Sampling·Model Collapse (7/10)

Teacher LLM으로 instruction·rationale·response를 합성하고 rejection sampling으로 정제합니다. SFT·on-policy distillation, 오염·편향·model collapse를 평가합니다.

#LLM #SyntheticData #Distillation #RejectionSampling
실제 seed와 teacher LLM에서 여러 합성 후보를 만든 뒤 검증 필터와 rejection sampling으로 선별하고 student 학습과 독립 평가까지 연결하는 데이터 파이프라인
№008 llm-reasoning-reliability-foundations · 08

Tool-Use Learning: Function Calling SFT·Execution Reward 설계 (8/10)

도구 문서와 JSON Schema에서 function call 학습 데이터를 만들고 SFT·execution reward로 학습합니다. No-call·병렬·연속 호출, schema drift와 보안 평가를 설계합니다.

#LLM #ToolUse #FunctionCalling #ToolCalling
도구 registry와 schema에서 다양한 호출 과제를 만들고 구조 검증과 sandbox 실행 보상으로 LLM을 학습한 뒤 실제 실행 성공과 정책 위반을 평가하는 구조
№009 llm-reasoning-reliability-foundations · 09

Agent Trajectory Learning: Long-Horizon Credit Assignment (9/10)

Agent의 state·observation·action 전체 trajectory를 offline imitation과 on-policy RL로 학습합니다. Outcome·step reward, credit assignment, replay와 episode 평가를 설계합니다.

#LLM #Agent #Trajectory #ReinforcementLearning
긴 Agent episode를 상태 관찰 행동 보상 전이로 기록하고 outcome과 step reward를 각 결정에 배분해 offline imitation과 on-policy 학습 및 replay 평가로 연결하는 구조
№010 llm-reasoning-reliability-foundations · 10

Model Routing과 Cascades: Compound AI System 설계 (10/10)

요청별로 모델·RAG·test-time compute를 router와 cascade로 배분합니다. 품질·비용·지연 제약, counterfactual 학습, Pareto frontier와 drift 운영을 설계합니다.

#LLM #ModelRouting #Cascade #CompoundAI
요청 특징과 정책 제약을 router가 분석해 작은 모델 RAG 강한 모델로 보내고 confidence gate가 필요할 때만 cascade하며 품질 비용 지연을 평가하는 구조