blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#Scheduler

01 entries
№001 llm-inference-systems-engineering · 04

Continuous Batching·Chunked Prefill: LLM Scheduler 설계 (4/10)

Scheduler가 iteration마다 decode와 prefill token을 묶는 원리를 설명합니다. Chunked prefill, admission, preemption, fairness를 TTFT·ITL budget과 연결해 continuous batching을 설계합니다.

#LLM #Inference #Scheduler #ContinuousBatching
Active decode를 iteration budget에 넣고 긴 prefill을 작은 chunk로 나누며 admission, fairness, preemption과 SLO gate로 연결하는 LLM scheduler 구조