长提示词如何阻塞其他请求：优化 LLM 性能

TNG 在 24 张 H100 上自托管多个大语言模型，日均消耗超 1 亿 token、生成超 1000 万 token，发现 vLLM 默认 chunked-prefill 会顺序调度 prefill，单个长提示词请求会阻塞后续请求的 prefill 队列，显著拉高首 token 延迟。