Mistral AI·· 2026-01-22AI 评分34
Heaps do lie:排查 vLLM 内存泄漏
Heaps do lie: debugging a memory leak in vLLM.
AI 导读
Mistral AI 团队在预生产测试中发现,Mistral Medium 3.1 在 vLLM 上启用图编译并采用 NIXL 的 Prefill/Decode 分离式部署时,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。
来源:Mistral AI · mistral.ai