№001 llm-training-serving-foundations · 01
LLM 사전학습 데이터 파이프라인: 수집·정제·중복 제거·혼합 (1/10)
원시 문서를 학습 가능한 토큰 시퀀스로 바꾸는 LLM 사전학습 데이터 파이프라인을 출처·라이선스, 품질 필터, PII, 중복 제거, 오염 검사, 데이터 혼합, 패킹, manifest까지 설계합니다.
Tag index
#Deduplication
01 entries Tag index
원시 문서를 학습 가능한 토큰 시퀀스로 바꾸는 LLM 사전학습 데이터 파이프라인을 출처·라이선스, 품질 필터, PII, 중복 제거, 오염 검사, 데이터 혼합, 패킹, manifest까지 설계합니다.