blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#ZeRO

01 entries
№001 llm-training-serving-foundations · 08

분산 LLM 학습: DDP·ZeRO·FSDP·TP·PP·CP (8/10)

LLM 분산 학습을 parameter·gradient·optimizer·activation 원장으로 계산하고 DDP, ZeRO, FSDP, tensor·pipeline·context parallel의 통신, checkpoint, 확장 효율을 설계합니다.

#LLM #DistributedTraining #FSDP #ZeRO
LLM 학습 상태를 parameter gradient optimizer activation으로 나누고 DDP FSDP TP PP CP를 배치하는 분산 학습 구조