blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#Serving

02 entries
№002 llm-inference-systems-engineering · 09

LLM Serving SLO 운영: Admission Control·Fairness·Autoscaling (9/10)

LLM serving의 TTFT·ITL SLO를 goodput으로 정의하고 admission, token fairness와 overload를 설계합니다. Queue work·KV·cold-start를 반영해 replica와 prefill/decode pool을 autoscale합니다.

#LLM #Inference #Serving #SLO
LLM 요청을 SLO class와 token work로 분류하고 admission, deadline·fairness queue, prefill/decode worker, autoscaling feedback loop로 제어하는 운영 구조
№001 llm-inference-systems-engineering · 06

Speculative Decoding: Draft·Verify·Acceptance와 Serving 설계 (6/10)

Speculative decoding의 draft·target verification과 acceptance/rejection 식을 설명합니다. Draft 길이, tree 후보, KV rollback, scheduler와 품질 검증을 연결해 decode 지연을 줄이는 조건을 찾습니다.

#LLM #Inference #SpeculativeDecoding #DraftModel
Draft model이 후보 token을 제안하고 target model이 한 번에 검증한 뒤 acceptance ratio로 prefix를 채택하며 rejected suffix KV를 rollback하는 구조