Hugging Face Blog·· 2024-12-05AI 评分27
LLM 修复自身错误的能力如何?基于 Keras 与 TPU 的 chatbot arena 实验
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs
AI 导读
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena,让多个 LLM 同时处理同一段日历 API 调用对话,测试它们在用户用自然语言指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型,共 7 个 LLM,通过 Gradio Spaces 界面并行对话。
来源:Hugging Face Blog · huggingface.co