blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#DraftModel

01 entries
№001 llm-inference-systems-engineering · 06

Speculative Decoding: Draft·Verify·Acceptance와 Serving 설계 (6/10)

Speculative decoding의 draft·target verification과 acceptance/rejection 식을 설명합니다. Draft 길이, tree 후보, KV rollback, scheduler와 품질 검증을 연결해 decode 지연을 줄이는 조건을 찾습니다.

#LLM #Inference #SpeculativeDecoding #DraftModel
Draft model이 후보 token을 제안하고 target model이 한 번에 검증한 뒤 acceptance ratio로 prefix를 채택하며 rejected suffix KV를 rollback하는 구조