№001 llm-rag-foundations · 01
RAG Agent 공부 순서: 토큰부터 Harness까지 한 장으로 보기 (1/10)
RAG Agent를 만들기 전에 토큰·임베딩·Transformer·검색·생성·평가·하네스가 한 요청에서 어떻게 연결되는지 전체 지도를 세우고, 10편의 학습 순서와 실습 기준까지 정리합니다.
Series · Folio
LLM · RAG Agent 기초부터 만들기
10 parts초·중급 개발자를 위한 하루 10편 학습 시리즈
№002 llm-rag-foundations · 02
LLM 토큰화 입문: BPE부터 Context Window 계산까지 (2/10)
LLM이 문자열을 직접 읽지 않고 토큰 ID로 바꾸는 이유를 문자·단어·subword 관점에서 설명하고, BPE·SentencePiece·특수 토큰·한국어 비용·RAG chunk 예산을 실습으로 연결합니다.
№003 llm-rag-foundations · 03
벡터와 임베딩 입문: Cosine Similarity가 RAG 검색이 되는 원리 (3/10)
스칼라·벡터·행렬의 차이부터 one-hot과 dense embedding, dot product·cosine similarity·정규화까지 작은 숫자로 계산하고, query와 문서가 검색되는 원리를 RAG 코드로 연결합니다.
№004 llm-rag-foundations · 04
신경망 학습 입문: Logit·Softmax·Loss·Gradient 한 번에 연결하기 (4/10)
LLM 학습에서 자주 만나는 parameter·logit·softmax·cross entropy·backpropagation·gradient descent를 세 토큰 예제로 계산하고, pretraining과 inference의 차이까지 RAG 개발 관점에서 설명합니다.
№005 llm-rag-foundations · 05
언어모델 입문: 다음 토큰 예측이 문장 생성이 되는 이유 (5/10)
n-gram에서 neural language model과 autoregressive LLM으로 이어지는 핵심을 조건부확률·teacher forcing·causal mask·생성 루프로 설명하고, hallucination과 RAG가 필요한 이유까지 연결합니다.
№006 llm-rag-foundations · 06
Self-Attention 입문: Q·K·V와 Scaled Dot-Product 손으로 계산하기 (6/10)
Transformer의 핵심인 query·key·value를 검색 비유와 행렬 shape로 설명하고, score·scale·mask·softmax·weighted sum을 작은 숫자로 직접 계산해 multi-head와 RAG context까지 연결합니다.
№007 llm-rag-foundations · 07
Transformer 구조 입문: Attention·Residual·LayerNorm·FFN 조립하기 (7/10)
Transformer가 attention 하나가 아니라 token·position embedding, multi-head attention, residual, LayerNorm, FFN을 반복한 구조임을 설명하고 encoder와 decoder의 RAG 역할까지 비교합니다.
№008 llm-rag-foundations · 08
BERT와 GPT 차이: Encoder·Decoder를 RAG 부품으로 이해하기 (8/10)
BERT의 양방향 encoder와 GPT의 causal decoder를 attention mask·학습 목표·입출력 관점에서 비교하고, bi-encoder 검색·cross-encoder reranking·LLM 생성에 각각 어떻게 쓰이는지 설명합니다.
№009 llm-rag-foundations · 09
LLM 추론 입문: Prefill·Decode·KV Cache·Temperature 이해하기 (9/10)
프롬프트가 token이 된 뒤 prefill과 autoregressive decode를 거치는 과정을 설명하고, KV cache·TTFT·token latency·temperature·top-p가 RAG의 context 비용과 답변 안정성에 미치는 영향을 정리합니다.
№010 llm-rag-foundations · 10
첫 RAG 만들기: Chunking·Embedding·검색·생성·평가 전체 연결 (10/10)
문서 수집과 chunking부터 embedding·cosine retrieval·context 조립·근거 기반 생성·Recall@k 평가까지 최소 RAG를 Python으로 연결하고, 실패를 검색과 생성 단계로 분리해 추적합니다.
