Hugging Face 解读大语言模型红队测试：方法、风险与最佳实践

红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与人类难以理解的对抗攻击不同。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 是缺乏红队评估导致灾难性后果的真实案例。红队可由人工或另一个 LM 执行，角色扮演攻击和用代码作答能绕过经 RLHF 或 SFT 对齐的模型，该领域仍处早期，需要多机构协作共享数据集与最佳实践。