blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#InferenceServing

01 entries
№001 llm-training-serving-foundations · 09

효율적인 LLM 추론 서빙: Prefill·Decode·KV Cache (9/10)

LLM 추론을 queue·prefill·decode로 분해하고 TTFT·ITL·goodput을 계산하며 PagedAttention, continuous batching, prefix cache, speculative decoding, P/D 분리와 SLO를 설계합니다.

#LLM #InferenceServing #Prefill #Decoding
LLM 요청을 queue prefill decode로 나누고 KV cache scheduler와 batching을 TTFT ITL goodput SLO로 연결하는 추론 서빙 구조