Tag index

#LLMOps

05 entries
№004 llm-reasoning-reliability-foundations · 10

Model Routing과 Cascades: Compound AI System 설계 (10/10)

요청별로 모델·RAG·test-time compute를 router와 cascade로 배분합니다. 품질·비용·지연 제약, counterfactual 학습, Pareto frontier와 drift 운영을 설계합니다.

#LLM #ModelRouting #Cascade #CompoundAI
요청 특징과 정책 제약을 router가 분석해 작은 모델 RAG 강한 모델로 보내고 confidence gate가 필요할 때만 cascade하며 품질 비용 지연을 평가하는 구조
№003 llm-training-serving-foundations · 10

RAG Agent 모델 선택과 배포: 평가·Canary·Rollback (10/10)

RAG Agent 모델을 grounding·tool calling·long context·latency·cost·license로 비교하고 hard gate와 Pareto frontier를 거쳐 offline, shadow, canary, rollback으로 안전하게 배포합니다.

#RAGAgent #ModelEvaluation #ToolCalling #Groundedness
RAG Agent 후보 모델을 grounding tool calling latency cost gate로 평가하고 offline shadow canary rollback 단계로 배포하는 구조
№001

OpenAI SDK vs Temporal vs LangGraph — LLM 에이전트 백엔드 비교 2026

OpenAI Agents SDK, Temporal, LangGraph는 자주 비교되지만 셋은 같은 층이 아닙니다. 만드는 도구·운영 엔진·판단 흐름이라는 세 층을 한 장으로 정리하고, 언제 무엇을 써야 하는지 정직하게 가이드합니다.

#AI에이전트 #OpenAI #LangGraph #Temporal
OpenAI SDK·LangGraph·Temporal 세 박스가 위에서 아래로 쌓인 계층도 — 만드는 도구·판단 흐름·운영 엔진