№006 llm-rag-foundations · 07
Transformer 구조 입문: Attention·Residual·LayerNorm·FFN 조립하기 (7/10)
Transformer가 attention 하나가 아니라 token·position embedding, multi-head attention, residual, LayerNorm, FFN을 반복한 구조임을 설명하고 encoder와 decoder의 RAG 역할까지 비교합니다.
Tag index
#LLM
06 entries №005 llm-rag-foundations · 06
Self-Attention 입문: Q·K·V와 Scaled Dot-Product 손으로 계산하기 (6/10)
Transformer의 핵심인 query·key·value를 검색 비유와 행렬 shape로 설명하고, score·scale·mask·softmax·weighted sum을 작은 숫자로 직접 계산해 multi-head와 RAG context까지 연결합니다.
№004 llm-rag-foundations · 05
언어모델 입문: 다음 토큰 예측이 문장 생성이 되는 이유 (5/10)
n-gram에서 neural language model과 autoregressive LLM으로 이어지는 핵심을 조건부확률·teacher forcing·causal mask·생성 루프로 설명하고, hallucination과 RAG가 필요한 이유까지 연결합니다.
№003 llm-rag-foundations · 04
신경망 학습 입문: Logit·Softmax·Loss·Gradient 한 번에 연결하기 (4/10)
LLM 학습에서 자주 만나는 parameter·logit·softmax·cross entropy·backpropagation·gradient descent를 세 토큰 예제로 계산하고, pretraining과 inference의 차이까지 RAG 개발 관점에서 설명합니다.
№002 llm-rag-foundations · 02
LLM 토큰화 입문: BPE부터 Context Window 계산까지 (2/10)
LLM이 문자열을 직접 읽지 않고 토큰 ID로 바꾸는 이유를 문자·단어·subword 관점에서 설명하고, BPE·SentencePiece·특수 토큰·한국어 비용·RAG chunk 예산을 실습으로 연결합니다.
№001 llm-rag-foundations · 01
RAG Agent 공부 순서: 토큰부터 Harness까지 한 장으로 보기 (1/10)
RAG Agent를 만들기 전에 토큰·임베딩·Transformer·검색·생성·평가·하네스가 한 요청에서 어떻게 연결되는지 전체 지도를 세우고, 10편의 학습 순서와 실습 기준까지 정리합니다.
