blog.ruahverce Vol · 2026 · Issue 012 — A field log of LLMs, RAG, and ML systems

Tag index

#Tokenization

01 entries
№001 llm-rag-foundations · 02

LLM 토큰화 입문: BPE부터 Context Window 계산까지 (2/10)

LLM이 문자열을 직접 읽지 않고 토큰 ID로 바꾸는 이유를 문자·단어·subword 관점에서 설명하고, BPE·SentencePiece·특수 토큰·한국어 비용·RAG chunk 예산을 실습으로 연결합니다.

#LLM #Tokenization #BPE #ContextWindow
한국어 질문이 subword 토큰과 토큰 ID를 거쳐 context window에 들어가는 과정