Mistral AI 发布 24B 参数模型 Mistral Small 3,Apache 2.0 开源
Mistral AI 发布 Mistral Small 3,一个面向低延迟优化的 24B 参数模型,以 Apache 2.0 许可证开源,同时提供预训练和指令微调两个 checkpoint。
推荐理由:24B 参数在 Apache 2.0 下对标三倍体量模型,并给出量化后单卡本地部署的具体条件。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
Mistral AI 发布 Mistral Small 3,一个面向低延迟优化的 24B 参数模型,以 Apache 2.0 许可证开源,同时提供预训练和指令微调两个 checkpoint。
推荐理由:24B 参数在 Apache 2.0 下对标三倍体量模型,并给出量化后单卡本地部署的具体条件。
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M,共四个 checkpoint,含两个 base 模型和两个指令微调模型,可直接加载到 transformers、MLX 和 ONNX,并提供 transformers 与 WebGPU 演示。
推荐理由:官方披露了从 2B 缩到 256M 与 500M 的取舍细节,可看到小模型在视觉编码器和 tokenization 上的具体权衡。
Mistral AI 发布 Codestral 25.01,采用更高效的架构和改进的分词器,生成与补全代码速度约为原版 Codestral 的 2 倍,支持 256k 上下文。
推荐理由:Codestral 25.01 的架构与分词器升级带来约 2 倍生成速度,并给出与同量级编码模型的基准对比。
Answer.AI 与 LightOn 联合发布 ModernBERT,这是一系列编码器模型,作为 BERT 类模型的直接替换方案,提供 base(149M 参数)和 large(395M 参数)两个版本。
推荐理由:ModernBERT 把近年 LLM 的架构与训练经验移植回编码器,读者可据此判断 BERT 类模型在检索与分类场景的替换空间。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,全部在 100 亿参数以下。
推荐理由:Falcon3 家族覆盖 1B 到 10B 五款模型,给出了训练数据规模与基准对比,可据此判断小尺寸开源模型的选型空间。
OpenAI 发布 o1 模型,并同步带来 Realtime API 改进和一种新的微调方法等面向开发者的更新。官方公告仅给出上述要点,未披露具体参数、价格或可用范围。
推荐理由:OpenAI 官方一次性给出 o1 模型与 Realtime API、微调方法的更新,便于开发者对照现有集成评估升级点。
OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行扩展、重混和融合,也可完全由文本生成新内容。
推荐理由:OpenAI 官方给出 Sora 的开放入口与分辨率、时长、画幅等具体规格,便于读者判断可用范围。
Hugging Face 发布 SmolVLM,一个 2B 参数的小型视觉语言模型家族,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:官方给出 2B 视觉语言模型的显存占用、吞吐与基准对比,可据此判断端侧多模态部署的可行边界。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 的 124B 开放权重多模态模型,含 123B 多模态解码器和 1B 参数视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图像。
推荐理由:原文给出 Pixtral Large 的基准成绩与开放权重许可,读者可据此判断开源多模态模型与闭源前沿模型的差距。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,并以开放权重形式提供给研究社区。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型如何用数据套利、偏好训练与模型合并提升表现。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧与本地推理的模型 Ministral 3B 和 Ministral 8B,官方称其在 10B 以下级别刷新了知识、常识、推理、函数调用和效率的表现。
推荐理由:官方给出两款端侧小模型的能力定位、上下文长度与 API 定价,可据此判断本地推理的选型与成本。
Meta 发布 Llama 3.2 系列共十款开放权重模型,包括 5 款多模态视觉模型和 5 款纯文本模型,均已上线 Hugging Face Hub。
推荐理由:Hugging Face 官方给出 Llama 3.2 十款开源权重的规格、基准与端侧运行方式,可据此判断多模态与 1B/3B 小模型的落地路径。
Mistral AI 发布 Pixtral 12B,一个原生多模态模型,采用新训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器,支持可变图像尺寸与 128k token 上下文窗口内的多图输入,以 Apache 2.0 许可开源。
推荐理由:官方给出架构、评测协议与多模态基准对比,可据此判断 12B 级开源多模态模型的真实能力边界。
OpenAI 发布 o1 模型,官方页面标题为 Introducing OpenAI o1,正文内容未能抓取。
OpenAI 发布 o1-mini,官方将其定位为在推理能力上兼顾成本效率的模型。目前公开信息仅有这一标题式说明,具体能力与定价细节尚未给出。
推荐理由:OpenAI 官方发布 o1-mini,读者可据此了解其在推理能力与成本之间的定位。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,这是首个通用大规模纯 Mamba 模型,采用 TII Falcon Mamba 7B License 1.0 开放获取,已在 Hugging Face 生态上线。
推荐理由:TII 发布首个纯 Mamba 架构的 7B 开源模型,并给出与同规模 Transformer 的基准对比和长序列内存数据。
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版)、安全分类器 ShieldGemma 以及稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用选项。
Mistral AI 发布 Mistral Large 2,模型规模 123B 参数,支持 128k 上下文窗口和数十种语言,可在单节点上实现大吞吐推理。官方称其在 MMLU 上预训练版本准确率达 84.0%,代码与推理表现大幅超过上一代 Mistral Large,并与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当。
推荐理由:Mistral Large 2 以 123B 参数实现单节点推理,并给出与 GPT-4o、Claude 3 Opus、Llama 3 405B 的同管线对比数据。
Meta 发布 Llama 3.1,包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型,全部支持 128K token 上下文和 8 种语言,并新增 Llama Guard 3 与 Prompt Guard 两个安全模型。
推荐理由:Hugging Face 官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案与工具调用格式,可作为部署选型的参考。
OpenAI 发布 GPT-4o mini,从标题看定位为更具成本效率的智能模型。材料仅提供标题,具体能力、价格与开放方式未给出。