Hugging Face Blog·· 2024-08-12精选AI 评分62
TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，这是首个通用大规模纯 Mamba 模型，采用 TII Falcon Mamba 7B License 1.0 开放获取，已在 Hugging Face 生态上线。
推荐理由
TII 发布首个纯 Mamba 架构的 7B 开源模型，并给出与同规模 Transformer 的基准对比和长序列内存数据。
来源：Hugging Face Blog · huggingface.co