№001 llm-inference-systems-engineering · 01
GPU Roofline으로 LLM 추론 병목 읽기: FLOPS·Bandwidth·Arithmetic Intensity (1/10)
GPU Roofline 모델로 LLM prefill과 decode의 FLOP·HBM byte·arithmetic intensity를 계산합니다. compute·memory·launch·통신 병목을 구분하고 측정 기반 최적화 순서를 설계합니다.
