blog.ruahverce Vol · 2026 · Issue 012 — A field log of LLMs, RAG, and ML systems

Tag index

#RAGAgent

14 entries
№014 llm-training-serving-foundations · 10

RAG Agent 모델 선택과 배포: 평가·Canary·Rollback (10/10)

RAG Agent 모델을 grounding·tool calling·long context·latency·cost·license로 비교하고 hard gate와 Pareto frontier를 거쳐 offline, shadow, canary, rollback으로 안전하게 배포합니다.

#RAGAgent #ModelEvaluation #ToolCalling #Groundedness
RAG Agent 후보 모델을 grounding tool calling latency cost gate로 평가하고 offline shadow canary rollback 단계로 배포하는 구조
№013 llm-reasoning-reliability-foundations · 09

Agent Trajectory Learning: Long-Horizon Credit Assignment (9/10)

Agent의 state·observation·action 전체 trajectory를 offline imitation과 on-policy RL로 학습합니다. Outcome·step reward, credit assignment, replay와 episode 평가를 설계합니다.

#LLM #Agent #Trajectory #ReinforcementLearning
긴 Agent episode를 상태 관찰 행동 보상 전이로 기록하고 outcome과 step reward를 각 결정에 배분해 offline imitation과 on-policy 학습 및 replay 평가로 연결하는 구조
№012 llm-reasoning-reliability-foundations · 08

Tool-Use Learning: Function Calling SFT·Execution Reward 설계 (8/10)

도구 문서와 JSON Schema에서 function call 학습 데이터를 만들고 SFT·execution reward로 학습합니다. No-call·병렬·연속 호출, schema drift와 보안 평가를 설계합니다.

#LLM #ToolUse #FunctionCalling #ToolCalling
도구 registry와 schema에서 다양한 호출 과제를 만들고 구조 검증과 sandbox 실행 보상으로 LLM을 학습한 뒤 실제 실행 성공과 정책 위반을 평가하는 구조
№011 llm-reasoning-reliability-foundations · 06

Structured Generation: JSON Schema·FSM·CFG로 출력 강제하기 (6/10)

LLM 구조화 출력을 prompt와 재시도에 맡기지 않고 JSON Schema·FSM·CFG로 토큰을 제한합니다. 문법 컴파일, token mask, 의미 검증과 지연 평가를 설계합니다.

#LLM #StructuredGeneration #ConstrainedDecoding #JSONSchema
JSON Schema를 문법 상태 기계로 컴파일하고 매 생성 단계에서 허용 토큰만 남긴 뒤 의미 검증과 권한 검사를 거쳐 도구를 실행하는 흐름
№010 llm-training-serving-foundations · 06

LoRA·QLoRA·DoRA와 PEFT: Rank·Target Module·Merge 설계 (6/10)

LoRA의 low-rank update 수식과 trainable parameter를 계산하고 rank·alpha·target module을 고르는 법, QLoRA의 4-bit frozen base, DoRA, adapter merge·동적 serving·평가 계약까지 설계합니다.

#LLM #PEFT #LoRA #QLoRA
Frozen base weight에 rank r의 LoRA A B update를 더하고 QLoRA 4-bit base와 DoRA를 거쳐 merged checkpoint 또는 dynamic adapter serving으로 배포하는 구조
№009 llm-reasoning-reliability-foundations · 05

LLM Hallucination과 Factuality: Claim·Evidence·Citation 평가 (5/10)

LLM 답을 atomic claim으로 분해해 근거 지지·모순·부족으로 판정합니다. FActScore·SAFE·ALCE 관점의 factuality와 citation 정확성·coverage, RAG 오류 귀속을 설계합니다.

#LLM #Hallucination #Factuality #Grounding
LLM 장문 답변을 atomic claim으로 분해하고 각 claim을 evidence span과 대조해 지원 모순 근거 부족으로 판정하며 citation 정확성과 coverage를 계산하는 구조
№007 llm-reasoning-reliability-foundations · 04

LLM 불확실성과 Calibration: 모르면 멈추게 만들기 (4/10)

LLM의 token 확률·verbal confidence·sample agreement·semantic entropy를 구분하고 Brier·ECE·risk-coverage로 calibration을 평가합니다. RAG Agent가 답변·재검색·질문·중단을 선택하도록 설계합니다.

#LLM #Uncertainty #Calibration #SemanticEntropy
여러 LLM 응답을 의미별 cluster로 묶어 semantic uncertainty를 계산하고 calibration threshold에 따라 답변 재검색 질문 중단으로 routing하는 구조
№005 llm-reasoning-reliability-foundations · 03

Verifier와 Process Supervision: ORM·PRM·Value Model (3/10)

LLM 후보를 고르는 ORM·PRM·value model·generative verifier를 구분합니다. 단계 label과 search 결합, calibration, distribution shift, reward hacking을 RAG Agent 사례로 설계합니다.

#LLM #Verifier #ProcessSupervision #RewardModel
최종 답을 평가하는 ORM과 중간 단계를 평가하는 PRM 및 미래 성공을 추정하는 value model을 후보 생성과 search에 연결하는 구조
№004 llm-reasoning-reliability-foundations · 02

Test-time Compute: Self-Consistency·Best-of-N·Search 설계 (2/10)

LLM 추론 시 여러 후보에 계산 예산을 쓰는 self-consistency, pass@k, Best-of-N, verifier search를 구분합니다. 난이도별 adaptive budget과 중단 조건을 품질·지연·비용 SLO로 설계합니다.

#LLM #TestTimeCompute #SelfConsistency #BestOfN
하나의 질문에서 여러 추론 후보를 병렬 생성하고 합의 또는 verifier로 선택하며 난이도와 SLO에 따라 계산 예산을 조절하는 구조
№002 llm-reasoning-reliability-foundations · 01

Chain-of-Thought 입문: LLM 추론문과 실제 근거 구분하기 (1/10)

Chain-of-Thought가 중간 token으로 계산을 확장하는 원리를 익히고 정답성·설득력·충실성을 분리합니다. RAG Agent에서는 숨은 생각 대신 증거·도구 결과·검증 기록으로 추론을 감사하는 방법을 설계합니다.

#LLM #ChainOfThought #Reasoning #RAGAgent
질문에서 여러 중간 추론 token을 거쳐 답을 만들되 추론문과 인과적 증명을 구분하고 외부 증거와 도구로 검증하는 구조