blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Tag index

#ExpertParallel

01 entries
№001 llm-inference-systems-engineering · 07

분산 LLM 추론: TP·PP·EP·Context Parallel·P/D 분리 (7/10)

분산 LLM 추론의 replica, tensor·pipeline·expert·context parallel과 prefill/decode 분리를 비교합니다. Weight·KV·activation·collective와 topology를 계산해 SLO goodput에 맞는 배치를 설계합니다.

#LLM #Inference #DistributedSystems #TensorParallel
Weight·layer·expert·context·request·prefill/decode를 GPU에 분할하고 collective, activation, KV transfer와 topology를 비교하는 분산 LLM 추론 구조