№003 llm-rag-foundations · 10
첫 RAG 만들기: Chunking·Embedding·검색·생성·평가 전체 연결 (10/10)
문서 수집과 chunking부터 embedding·cosine retrieval·context 조립·근거 기반 생성·Recall@k 평가까지 최소 RAG를 Python으로 연결하고, 실패를 검색과 생성 단계로 분리해 추적합니다.
Tag index
문서 수집과 chunking부터 embedding·cosine retrieval·context 조립·근거 기반 생성·Recall@k 평가까지 최소 RAG를 Python으로 연결하고, 실패를 검색과 생성 단계로 분리해 추적합니다.
스칼라·벡터·행렬의 차이부터 one-hot과 dense embedding, dot product·cosine similarity·정규화까지 작은 숫자로 계산하고, query와 문서가 검색되는 원리를 RAG 코드로 연결합니다.
고정 길이·overlap·문서 구조·semantic·late chunking의 원리와 비용을 비교하고, tokenizer 기반 구현·parent-child 연결·평가 grid를 통해 자신의 문서와 질문에 맞는 chunk 경계와 크기를 선택하는 방법을 배웁니다.