№002 llm-training-serving-foundations · 09
효율적인 LLM 추론 서빙: Prefill·Decode·KV Cache (9/10)
LLM 추론을 queue·prefill·decode로 분해하고 TTFT·ITL·goodput을 계산하며 PagedAttention, continuous batching, prefix cache, speculative decoding, P/D 분리와 SLO를 설계합니다.
Tag index
#PagedAttention
02 entries №001 llm-inference-systems-engineering · 02
LLM 추론 메모리 계산: Weight·Activation·KV Cache·Workspace (2/10)
LLM 추론 GPU 메모리를 weight, runtime buffer, KV cache, allocator와 headroom으로 나눠 계산합니다. GQA·TP·prefix cache·동시성을 반영해 OOM 전 admission capacity를 설계합니다.
