blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#SLO

03 entries
№003 llm-inference-systems-engineering · 10

LLM Serving 벤치마킹과 Capacity Planning: Trace·Goodput·비용 (10/10)

LLM serving을 open-loop trace로 재현해 TTFT·ITL·goodput·비용을 측정합니다. Input/output 결합 분포와 cache를 보존해 SLO knee를 찾고 peak·failure·rollout headroom으로 GPU capacity를 계산합니다.

#LLM #Inference #Benchmarking #CapacityPlanning
Production LLM trace를 open-loop로 재생해 workload·시스템·cache 조건을 고정하고 latency, goodput, failure, 비용으로 GPU capacity와 release gate를 계산하는 구조
№002 llm-inference-systems-engineering · 09

LLM Serving SLO 운영: Admission Control·Fairness·Autoscaling (9/10)

LLM serving의 TTFT·ITL SLO를 goodput으로 정의하고 admission, token fairness와 overload를 설계합니다. Queue work·KV·cold-start를 반영해 replica와 prefill/decode pool을 autoscale합니다.

#LLM #Inference #Serving #SLO
LLM 요청을 SLO class와 token work로 분류하고 admission, deadline·fairness queue, prefill/decode worker, autoscaling feedback loop로 제어하는 운영 구조
№001 llm-inference-systems-engineering · 04

Continuous Batching·Chunked Prefill: LLM Scheduler 설계 (4/10)

Scheduler가 iteration마다 decode와 prefill token을 묶는 원리를 설명합니다. Chunked prefill, admission, preemption, fairness를 TTFT·ITL budget과 연결해 continuous batching을 설계합니다.

#LLM #Inference #Scheduler #ContinuousBatching
Active decode를 iteration budget에 넣고 긴 prefill을 작은 chunk로 나누며 admission, fairness, preemption과 SLO gate로 연결하는 LLM scheduler 구조