blog.ruahverce Vol · 2026 · Issue 012 — A field log of LLMs, RAG, and ML systems

Tag index

#KVCache

01 entries
№001 llm-rag-foundations · 09

LLM 추론 입문: Prefill·Decode·KV Cache·Temperature 이해하기 (9/10)

프롬프트가 token이 된 뒤 prefill과 autoregressive decode를 거치는 과정을 설명하고, KV cache·TTFT·token latency·temperature·top-p가 RAG의 context 비용과 답변 안정성에 미치는 영향을 정리합니다.

#LLMInference #KVCache #Prefill #Decoding
긴 프롬프트를 병렬 처리하는 prefill과 KV cache를 재사용해 한 token씩 생성하는 decode 단계