№001 reranker-engineering · 11
Reranker Serving: Batching·Quantization·Adaptive Cascade (11/14)
Candidate 수와 token 길이로 용량을 계산하고 dynamic batching, TEI·vLLM, quantization parity를 설계합니다. Adaptive cascade, timeout·fallback·관측성으로 p95 SLO를 지킵니다.
Tag index
#ModelServing
01 entries