Hugging Face Blog·· 2024-04-30AI 评分38
Hugging Face 与 .txt 用结构化生成提升提示词一致性
Improving Prompt Consistency with Structured Generations
AI 导读
Hugging Face 的 Leaderboards and Evals 团队发现,同一任务下仅改变提示词格式,模型得分波动可达约 10 分,Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%,且模型排名也随之改变。为此 Hugging Face 与 .txt 合作,尝试用结构化生成库 Outlines 约束模型输出,以降低提示词格式带来的评测方差。
来源:Hugging Face Blog · huggingface.co