№002 llm-rag-foundations · 07
Transformer 구조 입문: Attention·Residual·LayerNorm·FFN 조립하기 (7/10)
Transformer가 attention 하나가 아니라 token·position embedding, multi-head attention, residual, LayerNorm, FFN을 반복한 구조임을 설명하고 encoder와 decoder의 RAG 역할까지 비교합니다.
Tag index
#Attention
02 entries №001 llm-rag-foundations · 06
Self-Attention 입문: Q·K·V와 Scaled Dot-Product 손으로 계산하기 (6/10)
Transformer의 핵심인 query·key·value를 검색 비유와 행렬 shape로 설명하고, score·scale·mask·softmax·weighted sum을 작은 숫자로 직접 계산해 multi-head와 RAG context까지 연결합니다.
