OpenAI News·· 2024-10-01精选AI 评分62
OpenAI 在 API 中推出 Prompt Caching
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching,对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同输入内容的调用场景,无需额外配置即可获得输入费用优惠。
推荐理由
OpenAI 官方公布 API 提示词缓存机制,读者可了解重复输入自动折扣对调用成本的影响。
来源:OpenAI News · openai.com