跳到正文
原文
OpenAI News·· 2024-10-01精选AI 评分62

OpenAI 在 API 中推出 Prompt Caching

Prompt Caching in the API

AI 导读

OpenAI 在 API 中推出 Prompt Caching,对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同输入内容的调用场景,无需额外配置即可获得输入费用优惠。

推荐理由

OpenAI 官方公布 API 提示词缓存机制,读者可了解重复输入自动折扣对调用成本的影响。

来源:OpenAI News · openai.com