Series · Folio

GPU 병목에서 스케줄링·분산 서빙·용량 계획까지 이어지는 초·중급 10편

대상

LLM과 RAG Agent를 GPU에 배포한 뒤 지연·메모리·동시성 병목을 수치로 진단하고 싶은 초·중급 개발자

읽고 나면

Roofline과 메모리 계산으로 병목을 예측하고, attention kernel·continuous batching·paged KV·speculative decoding·분산 및 저정밀 추론을 조합해 SLO 기반 capacity와 비용을 설계할 수 있음

추천 진입

01편 → 02편 → 04편 → 05편 → 09편 → 10편

№001 llm-inference-systems-engineering · 01

GPU Roofline으로 LLM 추론 병목 읽기: FLOPS·Bandwidth·Arithmetic Intensity (1/10)

GPU Roofline 모델로 LLM prefill과 decode의 FLOP·HBM byte·arithmetic intensity를 계산합니다. compute·memory·launch·통신 병목을 구분하고 측정 기반 최적화 순서를 설계합니다.

16 Jul 2026 #LLM #GPU #Roofline #Inference

№002 llm-inference-systems-engineering · 02

LLM 추론 메모리 계산: Weight·Activation·KV Cache·Workspace (2/10)

LLM 추론 GPU 메모리를 weight, runtime buffer, KV cache, allocator와 headroom으로 나눠 계산합니다. GQA·TP·prefix cache·동시성을 반영해 OOM 전 admission capacity를 설계합니다.

16 Jul 2026 #LLM #GPU #Inference #Memory

№003 llm-inference-systems-engineering · 03

Transformer 추론 커널: GEMM·Attention·FlashAttention·Fusion (3/10)

Transformer 추론을 GEMM, normalization, RoPE, attention, sampling 커널로 분해합니다. Prefill·decode shape와 HBM 이동, FlashAttention·fusion·fallback을 측정해 serving 성능을 검증합니다.

16 Jul 2026 #LLM #GPU #Inference #Transformer

№004 llm-inference-systems-engineering · 04

Continuous Batching·Chunked Prefill: LLM Scheduler 설계 (4/10)

Scheduler가 iteration마다 decode와 prefill token을 묶는 원리를 설명합니다. Chunked prefill, admission, preemption, fairness를 TTFT·ITL budget과 연결해 continuous batching을 설계합니다.

16 Jul 2026 #LLM #Inference #Scheduler #ContinuousBatching

№005 llm-inference-systems-engineering · 05

Paged KV Cache·Prefix Caching: Block·Eviction·Reuse (5/10)

KV cache를 logical block과 physical page로 나눠 할당합니다. Prefix identity, copy-on-write, refcount, eviction, offload를 연결해 RAG Agent의 cache hit와 tenant 격리를 설계합니다.

16 Jul 2026 #LLM #Inference #KVCache #PagedAttention

№006 llm-inference-systems-engineering · 06

Speculative Decoding: Draft·Verify·Acceptance와 Serving 설계 (6/10)

Speculative decoding의 draft·target verification과 acceptance/rejection 식을 설명합니다. Draft 길이, tree 후보, KV rollback, scheduler와 품질 검증을 연결해 decode 지연을 줄이는 조건을 찾습니다.

16 Jul 2026 #LLM #Inference #SpeculativeDecoding #DraftModel

№007 llm-inference-systems-engineering · 07

분산 LLM 추론: TP·PP·EP·Context Parallel·P/D 분리 (7/10)

분산 LLM 추론의 replica, tensor·pipeline·expert·context parallel과 prefill/decode 분리를 비교합니다. Weight·KV·activation·collective와 topology를 계산해 SLO goodput에 맞는 배치를 설계합니다.

16 Jul 2026 #LLM #Inference #DistributedSystems #TensorParallel

№008 llm-inference-systems-engineering · 08

저정밀 LLM 추론: FP8·INT8·INT4·FP4 Kernel과 Calibration (8/10)

LLM 추론의 FP8·INT8·INT4·FP4 표현, scale 단위, calibration과 outlier 처리를 비교합니다. Weight·activation·KV를 줄인 뒤 fused kernel, 실제 byte, 정확도와 SLO goodput으로 빠른 경로를 검증합니다.

16 Jul 2026 #LLM #Inference #Quantization #FP8

№009 llm-inference-systems-engineering · 09

LLM Serving SLO 운영: Admission Control·Fairness·Autoscaling (9/10)

LLM serving의 TTFT·ITL SLO를 goodput으로 정의하고 admission, token fairness와 overload를 설계합니다. Queue work·KV·cold-start를 반영해 replica와 prefill/decode pool을 autoscale합니다.

16 Jul 2026 #LLM #Inference #Serving #SLO

№010 llm-inference-systems-engineering · 10

LLM Serving 벤치마킹과 Capacity Planning: Trace·Goodput·비용 (10/10)

LLM serving을 open-loop trace로 재현해 TTFT·ITL·goodput·비용을 측정합니다. Input/output 결합 분포와 cache를 보존해 SLO knee를 찾고 peak·failure·rollout headroom으로 GPU capacity를 계산합니다.

16 Jul 2026 #LLM #Inference #Benchmarking #CapacityPlanning