OpenAI 为微调 API 引入视觉能力，支持用图像和文本微调 GPT-4o
OpenAI 在微调 API 中引入视觉能力，开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升其视觉表现。
推荐理由：OpenAI 官方开放 GPT-4o 图像微调，开发者可据此评估视觉能力的定制路径。
多模态
全部主题文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
最新精选
第 81–100 条 · 共 100 条OpenAI News精选AI 评分6262
Hugging Face Blog精选AI 评分8080 Llama 3.2 发布：多模态视觉模型与可在设备端运行的 1B/3B 小模型
Meta 发布 Llama 3.2 系列共十款开放权重模型，包括 5 款多模态视觉模型和 5 款纯文本模型，均已上线 Hugging Face Hub。
推荐理由：Hugging Face 官方给出 Llama 3.2 十款开源权重的规格、基准与端侧运行方式，可据此判断多模态与 1B/3B 小模型的落地路径。
Mistral AI精选AI 评分7171 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：官方一次性公布免费额度、全线降价与新模型，可据此比较各档模型的成本与部署选择。
Mistral AI精选AI 评分7272 Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用新训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与 128k token 上下文窗口内的多图输入，以 Apache 2.0 许可开源。
推荐理由：官方给出架构、评测协议与多模态基准对比，可据此判断 12B 级开源多模态模型的真实能力边界。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，模型规模 123B 参数，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。官方称其在 MMLU 上预训练版本准确率达 84.0%，代码与推理表现大幅超过上一代 Mistral Large，并与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当。
推荐理由：Mistral Large 2 以 123B 参数实现单节点推理，并给出与 GPT-4o、Claude 3 Opus、Llama 3 405B 的同管线对比数据。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2：11B 参数预训练语言模型与 VLM，训练数据超 5000B tokens、支持 11 种语言
TII 发布 Falcon 2 系列，包含 11B 基础语言模型和具备图像理解能力的 11B VLM，训练数据超过 5000B tokens，主要支持英语并覆盖西班牙语、法语、德语等另外十种语言。
推荐理由：TII 官方给出 Falcon 2 的训练数据、架构与评测对比，可据此判断 11B 小模型在多语言和视觉理解上的位置。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：Google 开源视觉语言模型 PaliGemma 的架构、三种权重类型与微调路径都在文中给出，可据此判断它适合哪些下游任务。
OpenAI News精选AI 评分8282 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可在音频、视觉和文本之间进行实时推理。
推荐理由：OpenAI 官方发布新旗舰模型，可据此了解其在音频、视觉与文本上的实时跨模态能力。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可，已集成进 Transformers。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，可据此判断社区多模态微调的门槛变化。
Mistral AI精选AI 评分8080 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出旗舰模型 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其能力定位与接入方式。
OpenAI News精选AI 评分9090 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文且价格更低，并推出 GPT-4 Turbo with Vision。同时公布新的 Assistants API 和 DALL·E 3 API 等开发者产品。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其 API 能力与定价方向。
OpenAI News精选AI 评分8080 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型在安全与部署方面的评估情况。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，复现 DeepMind 未公开的 Flamingo，接受任意图像与文本序列输入并生成文本。模型提供 9B 和 80B 两个参数规模，各有基础版和指令微调版，仅基于公开数据与模型（LLaMA v1、OpenCLIP）构建。
推荐理由：IDEFICS 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
OpenAI News精选AI 评分9393 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中能力仍不及人类。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现，可据此了解其能力定位。
Hugging Face Blog精选AI 评分6262 Kakao Brain 联合 Hugging Face 开源 ViT 与 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO（7 亿对）以及基于它训练的 ViT 和 ALIGN 模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 把 ViT 与 ALIGN 连同训练数据一起开源，读者可据此判断视觉语言模型复现的门槛变化。
Hugging Face Blog精选AI 评分6262 用 BLIP-2 实现零样本图像到文本生成
Hugging Face 发布指南，介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers，并演示图像描述、提示图像描述、视觉问答和对话式提示四种用法。
推荐理由：以 New Yorker 漫画为例演示 BLIP-2 的零样本图像描述、提示描述、视觉问答和对话式提示四种用法，附可运行代码。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个可处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类模型。
推荐理由：Hugging Face 官方详解 Perceiver IO 的接入方式，读者可据此了解这套架构如何处理文本、图像、音频等多模态输入。
OpenAI News精选AI 评分6262 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类神经元，无论概念以字面、符号还是概念化方式呈现，它们都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的视觉变体，也是理解 CLIP 及同类模型所学关联与偏见的重要一步。
推荐理由：OpenAI 公开 CLIP 中跨字面、符号与概念三种呈现方式响应的神经元，为理解多模态模型的关联与偏见提供线索。
OpenAI News精选AI 评分8383 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 官方公布 DALL·E，说明其可由自然语言描述生成图像，是文生图方向的早期节点。