blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#LLMOps

02 entries
№002 llm-reasoning-reliability-foundations · 10

Model Routing과 Cascades: Compound AI System 설계 (10/10)

요청별로 모델·RAG·test-time compute를 router와 cascade로 배분합니다. 품질·비용·지연 제약, counterfactual 학습, Pareto frontier와 drift 운영을 설계합니다.

#LLM #ModelRouting #Cascade #CompoundAI
요청 특징과 정책 제약을 router가 분석해 작은 모델 RAG 강한 모델로 보내고 confidence gate가 필요할 때만 cascade하며 품질 비용 지연을 평가하는 구조
№001 llm-training-serving-foundations · 10

RAG Agent 모델 선택과 배포: 평가·Canary·Rollback (10/10)

RAG Agent 모델을 grounding·tool calling·long context·latency·cost·license로 비교하고 hard gate와 Pareto frontier를 거쳐 offline, shadow, canary, rollback으로 안전하게 배포합니다.

#RAGAgent #ModelEvaluation #ToolCalling #Groundedness
RAG Agent 후보 모델을 grounding tool calling latency cost gate로 평가하고 offline shadow canary rollback 단계로 배포하는 구조