LLM 推理性能优化：理解 Prefill、Decode 和 KV 缓存的差异

LLM 推理分为 Prefill 和 Decode 两个阶段，前者算力受限、后者内存带宽受限，优化策略需分别对待。批处理可提升 GPU 利用率和吞吐量，但会增加单请求延迟，需按延迟敏感或吞吐优先来调整批次大小。KV 缓存通过存储中间计算结果避免重复计算历史 token，但内存随对话长度线性增长，需合理设计其生存时间和粒度。