Series · Folio

vLLM부터 Triton·SGLang·TensorRT-LLM까지 이어지는 서빙 층위 정리

대상

LLM API 서버, TTS 모델, GPU inference 최적화의 층위를 구분해야 하는 개발자

읽고 나면

API 서버, serving engine, 모델 실행, KV cache, Triton kernel, CUDA Graph가 어느 층에서 작동하는지 구분할 수 있음

추천 진입

01편

№001 llm-serving-inference · 01

LLM Serving은 vLLM만 뜻할까: Qwen3-TTS-Triton으로 보는 서빙의 층위

Qwen3-TTS-Triton v0.3.0을 계기로 serving, vLLM, Triton kernel, CUDA Graph, batching, KV cache가 각각 어느 층위인지 초심자 관점에서 정리합니다.

06 Jul 2026 #LLMServing #vLLM #Triton #TTS