№001 llm-inference-systems-engineering · 05
Paged KV Cache·Prefix Caching: Block·Eviction·Reuse (5/10)
KV cache를 logical block과 physical page로 나눠 할당합니다. Prefix identity, copy-on-write, refcount, eviction, offload를 연결해 RAG Agent의 cache hit와 tenant 격리를 설계합니다.
