跳到正文
原文
Hugging Face Blog·· 2024-04-30AI 评分38

Hugging Face 与 .txt 用结构化生成提升提示词一致性

Improving Prompt Consistency with Structured Generations

AI 导读

Hugging Face 的 Leaderboards and Evals 团队发现,同一任务下仅改变提示词格式,模型得分波动可达约 10 分,Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%,且模型排名也随之改变。为此 Hugging Face 与 .txt 合作,尝试用结构化生成库 Outlines 约束模型输出,以降低提示词格式带来的评测方差。

来源:Hugging Face Blog · huggingface.co