Tag index

№008 llm-inference-systems-engineering · 10

LLM Serving 벤치마킹과 Capacity Planning: Trace·Goodput·비용 (10/10)

LLM serving을 open-loop trace로 재현해 TTFT·ITL·goodput·비용을 측정합니다. Input/output 결합 분포와 cache를 보존해 SLO knee를 찾고 peak·failure·rollout headroom으로 GPU capacity를 계산합니다.

16 Jul 2026 #LLM #Inference #Benchmarking #CapacityPlanning

№007 llm-inference-systems-engineering · 08

저정밀 LLM 추론: FP8·INT8·INT4·FP4 Kernel과 Calibration (8/10)

LLM 추론의 FP8·INT8·INT4·FP4 표현, scale 단위, calibration과 outlier 처리를 비교합니다. Weight·activation·KV를 줄인 뒤 fused kernel, 실제 byte, 정확도와 SLO goodput으로 빠른 경로를 검증합니다.

16 Jul 2026 #LLM #Inference #Quantization #FP8

№006 llm-inference-systems-engineering · 07

분산 LLM 추론: TP·PP·EP·Context Parallel·P/D 분리 (7/10)

분산 LLM 추론의 replica, tensor·pipeline·expert·context parallel과 prefill/decode 분리를 비교합니다. Weight·KV·activation·collective와 topology를 계산해 SLO goodput에 맞는 배치를 설계합니다.

16 Jul 2026 #LLM #Inference #DistributedSystems #TensorParallel

№005 llm-inference-systems-engineering · 04

Continuous Batching·Chunked Prefill: LLM Scheduler 설계 (4/10)

Scheduler가 iteration마다 decode와 prefill token을 묶는 원리를 설명합니다. Chunked prefill, admission, preemption, fairness를 TTFT·ITL budget과 연결해 continuous batching을 설계합니다.

16 Jul 2026 #LLM #Inference #Scheduler #ContinuousBatching

№004 llm-inference-systems-engineering · 03

Transformer 추론 커널: GEMM·Attention·FlashAttention·Fusion (3/10)

Transformer 추론을 GEMM, normalization, RoPE, attention, sampling 커널로 분해합니다. Prefill·decode shape와 HBM 이동, FlashAttention·fusion·fallback을 측정해 serving 성능을 검증합니다.

16 Jul 2026 #LLM #GPU #Inference #Transformer

№003 llm-inference-systems-engineering · 02

LLM 추론 메모리 계산: Weight·Activation·KV Cache·Workspace (2/10)

LLM 추론 GPU 메모리를 weight, runtime buffer, KV cache, allocator와 headroom으로 나눠 계산합니다. GQA·TP·prefix cache·동시성을 반영해 OOM 전 admission capacity를 설계합니다.

16 Jul 2026 #LLM #GPU #Inference #Memory

№002 llm-inference-systems-engineering · 01

GPU Roofline으로 LLM 추론 병목 읽기: FLOPS·Bandwidth·Arithmetic Intensity (1/10)

GPU Roofline 모델로 LLM prefill과 decode의 FLOP·HBM byte·arithmetic intensity를 계산합니다. compute·memory·launch·통신 병목을 구분하고 측정 기반 최적화 순서를 설계합니다.

16 Jul 2026 #LLM #GPU #Roofline #Inference

№001 llm-serving-inference · 01

LLM Serving은 vLLM만 뜻할까: Qwen3-TTS-Triton으로 보는 서빙의 층위

Qwen3-TTS-Triton v0.3.0을 계기로 serving, vLLM, Triton kernel, CUDA Graph, batching, KV cache가 각각 어느 층위인지 초심자 관점에서 정리합니다.

06 Jul 2026 #LLMServing #vLLM #Triton #TTS