blog.ruahverce Vol · 2026 · Issue 018 — A field log of LLMs, RAG, and ML systems

Tag index

#RAGAgent

26 entries
№026 llm-reasoning-reliability-foundations · 10

Model Routing과 Cascades: Compound AI System 설계 (10/10)

요청별로 모델·RAG·test-time compute를 router와 cascade로 배분합니다. 품질·비용·지연 제약, counterfactual 학습, Pareto frontier와 drift 운영을 설계합니다.

#LLM #ModelRouting #Cascade #CompoundAI
요청 특징과 정책 제약을 router가 분석해 작은 모델 RAG 강한 모델로 보내고 confidence gate가 필요할 때만 cascade하며 품질 비용 지연을 평가하는 구조
№025 llm-training-serving-foundations · 10

RAG Agent 모델 선택과 배포: 평가·Canary·Rollback (10/10)

RAG Agent 모델을 grounding·tool calling·long context·latency·cost·license로 비교하고 hard gate와 Pareto frontier를 거쳐 offline, shadow, canary, rollback으로 안전하게 배포합니다.

#RAGAgent #ModelEvaluation #ToolCalling #Groundedness
RAG Agent 후보 모델을 grounding tool calling latency cost gate로 평가하고 offline shadow canary rollback 단계로 배포하는 구조
№023 llm-reasoning-reliability-foundations · 09

Agent Trajectory Learning: Long-Horizon Credit Assignment (9/10)

Agent의 state·observation·action 전체 trajectory를 offline imitation과 on-policy RL로 학습합니다. Outcome·step reward, credit assignment, replay와 episode 평가를 설계합니다.

#LLM #Agent #Trajectory #ReinforcementLearning
긴 Agent episode를 상태 관찰 행동 보상 전이로 기록하고 outcome과 step reward를 각 결정에 배분해 offline imitation과 on-policy 학습 및 replay 평가로 연결하는 구조
№022 production-rag-agent-python · 09

RAG Agent 테스트: Fake·Contract·Record/Replay 설계 (9/10)

RAG Agent를 외부 API 없이 검증합니다. deterministic fake, 공통 contract suite, HTTPX transport, 비밀정보를 제거한 record/replay와 fault injection을 설계합니다.

#RAGAgent #Python #Testing #Pytest
순수 unit test와 fake contract HTTP transport record replay live smoke offline evaluation으로 구성한 RAG Agent 테스트 피라미드
№021 llm-reasoning-reliability-foundations · 08

Tool-Use Learning: Function Calling SFT·Execution Reward 설계 (8/10)

도구 문서와 JSON Schema에서 function call 학습 데이터를 만들고 SFT·execution reward로 학습합니다. No-call·병렬·연속 호출, schema drift와 보안 평가를 설계합니다.

#LLM #ToolUse #FunctionCalling #ToolCalling
도구 registry와 schema에서 다양한 호출 과제를 만들고 구조 검증과 sandbox 실행 보상으로 LLM을 학습한 뒤 실제 실행 성공과 정책 위반을 평가하는 구조
№019 production-rag-agent-python · 07

RAG Session 영속화: PostgreSQL·Redis·Idempotency 설계 (7/10)

Agent session을 PostgreSQL versioned event로 저장합니다. optimistic concurrency, idempotency key·request hash·lease, Redis cache와 crash window를 Python·SQL로 구현합니다.

#RAGAgent #Python #PostgreSQL #Redis
중복 Agent 요청이 tenant와 operation 범위의 idempotency row에서 합류하고 PostgreSQL session version과 event를 commit한 뒤 Redis versioned cache를 갱신하는 흐름
№018 llm-reasoning-reliability-foundations · 06

Structured Generation: JSON Schema·FSM·CFG로 출력 강제하기 (6/10)

LLM 구조화 출력을 prompt와 재시도에 맡기지 않고 JSON Schema·FSM·CFG로 토큰을 제한합니다. 문법 컴파일, token mask, 의미 검증과 지연 평가를 설계합니다.

#LLM #StructuredGeneration #ConstrainedDecoding #JSONSchema
JSON Schema를 문법 상태 기계로 컴파일하고 매 생성 단계에서 허용 토큰만 남긴 뒤 의미 검증과 권한 검사를 거쳐 도구를 실행하는 흐름
№017 llm-training-serving-foundations · 06

LoRA·QLoRA·DoRA와 PEFT: Rank·Target Module·Merge 설계 (6/10)

LoRA의 low-rank update 수식과 trainable parameter를 계산하고 rank·alpha·target module을 고르는 법, QLoRA의 4-bit frozen base, DoRA, adapter merge·동적 serving·평가 계약까지 설계합니다.

#LLM #PEFT #LoRA #QLoRA
Frozen base weight에 rank r의 LoRA A B update를 더하고 QLoRA 4-bit base와 DoRA를 거쳐 merged checkpoint 또는 dynamic adapter serving으로 배포하는 구조
№015 llm-inference-systems-engineering · 05

Paged KV Cache·Prefix Caching: Block·Eviction·Reuse (5/10)

KV cache를 logical block과 physical page로 나눠 할당합니다. Prefix identity, copy-on-write, refcount, eviction, offload를 연결해 RAG Agent의 cache hit와 tenant 격리를 설계합니다.

#LLM #Inference #KVCache #PagedAttention
요청의 logical KV block을 불연속 physical GPU page에 매핑하고 radix prefix tree에서 공유한 뒤 refcount, copy-on-write, eviction과 CPU·SSD tier로 관리하는 구조
№014 llm-reasoning-reliability-foundations · 05

LLM Hallucination과 Factuality: Claim·Evidence·Citation 평가 (5/10)

LLM 답을 atomic claim으로 분해해 근거 지지·모순·부족으로 판정합니다. FActScore·SAFE·ALCE 관점의 factuality와 citation 정확성·coverage, RAG 오류 귀속을 설계합니다.

#LLM #Hallucination #Factuality #Grounding
LLM 장문 답변을 atomic claim으로 분해하고 각 claim을 evidence span과 대조해 지원 모순 근거 부족으로 판정하며 citation 정확성과 coverage를 계산하는 구조
№012 production-rag-agent-python · 05

RAG Prompt·Context Builder: Evidence Budget과 Citation 검증 (5/10)

검색 Evidence를 결정적 context bundle로 조립합니다. token budget, 중복 제거, 원문 span, untrusted data 격리와 server-side citation ID 검증을 Python으로 구현합니다.

#RAGAgent #Python #PromptEngineering #ContextEngineering
검색 Evidence가 dedup과 token budget packer를 지나 S1 S2 context block으로 변환되고 structured answer의 citation ID가 server-side evidence map에서 검증되는 흐름
№011 llm-reasoning-reliability-foundations · 04

LLM 불확실성과 Calibration: 모르면 멈추게 만들기 (4/10)

LLM의 token 확률·verbal confidence·sample agreement·semantic entropy를 구분하고 Brier·ECE·risk-coverage로 calibration을 평가합니다. RAG Agent가 답변·재검색·질문·중단을 선택하도록 설계합니다.

#LLM #Uncertainty #Calibration #SemanticEntropy
여러 LLM 응답을 의미별 cluster로 묶어 semantic uncertainty를 계산하고 calibration threshold에 따라 답변 재검색 질문 중단으로 routing하는 구조
№008 llm-reasoning-reliability-foundations · 03

Verifier와 Process Supervision: ORM·PRM·Value Model (3/10)

LLM 후보를 고르는 ORM·PRM·value model·generative verifier를 구분합니다. 단계 label과 search 결합, calibration, distribution shift, reward hacking을 RAG Agent 사례로 설계합니다.

#LLM #Verifier #ProcessSupervision #RewardModel
최종 답을 평가하는 ORM과 중간 단계를 평가하는 PRM 및 미래 성공을 추정하는 value model을 후보 생성과 search에 연결하는 구조
№006 llm-reasoning-reliability-foundations · 02

Test-time Compute: Self-Consistency·Best-of-N·Search 설계 (2/10)

LLM 추론 시 여러 후보에 계산 예산을 쓰는 self-consistency, pass@k, Best-of-N, verifier search를 구분합니다. 난이도별 adaptive budget과 중단 조건을 품질·지연·비용 SLO로 설계합니다.

#LLM #TestTimeCompute #SelfConsistency #BestOfN
하나의 질문에서 여러 추론 후보를 병렬 생성하고 합의 또는 verifier로 선택하며 난이도와 SLO에 따라 계산 예산을 조절하는 구조
№003 llm-reasoning-reliability-foundations · 01

Chain-of-Thought 입문: LLM 추론문과 실제 근거 구분하기 (1/10)

Chain-of-Thought가 중간 token으로 계산을 확장하는 원리를 익히고 정답성·설득력·충실성을 분리합니다. RAG Agent에서는 숨은 생각 대신 증거·도구 결과·검증 기록으로 추론을 감사하는 방법을 설계합니다.

#LLM #ChainOfThought #Reasoning #RAGAgent
질문에서 여러 중간 추론 token을 거쳐 답을 만들되 추론문과 인과적 증명을 구분하고 외부 증거와 도구로 검증하는 구조