Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可，已集成进 Transformers。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，可据此判断社区多模态微调的门槛变化。
#多模态
#多模态
今日 3 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3838 Hugging Face 详解视觉语言模型：架构、开源模型与微调方法
Hugging Face 发布视觉语言模型入门指南，梳理其核心架构由图像编码器、嵌入投影器和文本解码器组成，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型。文章还介绍了 Vision Arena、Open VLM Leaderboard 等评测榜单及 MMMU、MMBench 等基准，并演示如何用新版 trl 微调这类模型。
Hugging Face BlogAI 评分4040 Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码，初版 WebSight-v0.1 包含 823,000 对 HTML 与截图，更新版 WebSight-v0.2 改用真实图片和 Tailwind CSS 并扩展至 200 万样本。
Hugging Face BlogAI 评分2727 UCLA 团队发布 ConTextual：多模态模型在文本密集场景中的图文联合推理评测基准
UCLA 研究者发布 ConTextual，一个面向 LMM 的上下文敏感文本密集视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。首轮评测 13 个模型，GPT-4V 表现最佳，在抽象推理上超过人类，但在时间相关任务上不及人类；开源模型在多个领域表现明显落后。用 OCR 或 caption 增强 LLM 的方案人类通过率仅 17.2%。
Mistral AI精选AI 评分8080 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出旗舰模型 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其能力定位与接入方式。
OpenAI News精选AI 评分9090 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文且价格更低，并推出 GPT-4 Turbo with Vision。同时公布新的 Assistants API 和 DALL·E 3 API 等开发者产品。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其 API 能力与定价方向。
OpenAI News精选AI 评分8080 ChatGPT 新增看、听、说能力
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型在安全与部署方面的评估情况。
Hugging Face BlogAI 评分4848 Hugging Face Diffusers 让 AudioLDM 2 推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 库中优化 AudioLDM 2 文本到音频模型，通过半精度、flash attention、编译及调度器选择等手段，将推理时间缩短 10 倍以上，10 秒音频样本生成从 30 秒降至 1 秒，质量损失极小。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，复现 DeepMind 未公开的 Flamingo，接受任意图像与文本序列输入并生成文本。模型提供 9B 和 80B 两个参数规模，各有基础版和指令微调版，仅基于公开数据与模型（LLaMA v1、OpenCLIP）构建。
推荐理由：IDEFICS 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face BlogAI 评分2222 在 Habana Gaudi2 上加速 BridgeTower：视觉语言模型微调性能对比
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 实现 2.5 倍加速，相比 H100 实现 1.4 倍加速。
OpenAI News精选AI 评分9393 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中能力仍不及人类。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现，可据此了解其能力定位。
OpenAI NewsAI 评分1818 GPT-4 如何深化 Duolingo 的语言学习对话
GPT-4 被用于深化 Duolingo 的语言学习对话体验，以填补关键的语言学习空白。原文未披露具体功能细节、参数规模或可用性信息。
OpenAI NewsAI 评分4040 Be My Eyes 用 GPT-4 改变视觉无障碍体验
Be My Eyes 借助 GPT-4 改变视觉无障碍体验。该应用利用 GPT-4 为视障用户提供视觉辅助能力。
Hugging Face Blog精选AI 评分6262 Kakao Brain 联合 Hugging Face 开源 ViT 与 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO（7 亿对）以及基于它训练的 ViT 和 ALIGN 模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 把 ViT 与 ALIGN 连同训练数据一起开源，读者可据此判断视觉语言模型复现的门槛变化。
Hugging Face Blog精选AI 评分6262 用 BLIP-2 实现零样本图像到文本生成
Hugging Face 发布指南，介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers，并演示图像描述、提示图像描述、视觉问答和对话式提示四种用法。
推荐理由：以 New Yorker 漫画为例演示 BLIP-2 的零样本图像描述、提示描述、视觉问答和对话式提示四种用法，附可运行代码。
Hugging Face BlogAI 评分2828 Hugging Face 博客：深入解析视觉语言模型的训练策略
Hugging Face 发布博客深入解析视觉语言模型的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练等五类预训练策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图像与文本映射到同一特征空间，并介绍如何用 🤗 Transformers 实验该领域最新进展。
Hugging Face BlogAI 评分2222 Hugging Face 计算机视觉生态现状：8 大任务、3000+ 模型与 100+ 数据集
Hugging Face 公布其计算机视觉生态现状：Hub 上已支持 8 个核心视觉任务、超过 3000 个模型和 100 多个数据集，涵盖图像分类、分割、目标检测、深度估计等，并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Document AI 加速指南：开源模型与六大用例解析
Hugging Face 发文梳理 Document AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析、文档解析等任务。
Hugging Face BlogAI 评分2222 Hugging Face 为 🤗 Datasets 新增音频与图像文档
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档，Quickstart 新增端到端加载与处理示例，并引入 to_tf_dataset 函数，可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face BlogAI 评分1818 Hugging Face 多模态团队发布研究伦理章程，将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份伦理章程，将伦理原则正式纳入其机器学习研究生命周期。章程列出了要防止的用例，包括生成虚假信息、生成个人身份信息，以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项价值观，并承认这些价值观之间可能存在冲突，需逐案权衡。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Perceiver IO 加入 Transformers，支持任意模态
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个可处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类模型。
推荐理由：Hugging Face 官方详解 Perceiver IO 的接入方式，读者可据此了解这套架构如何处理文本、图像、音频等多模态输入。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述文本微调 CLIP
一个分布式团队用 RSICD、UCM 和 Sydney 三个遥感数据集对 OpenAI 的 CLIP 进行微调，使其能按文本描述检索卫星图像。训练采用对比学习，并配合图像增强与基于 Marian MT 回译的文本增强来抑制过拟合。微调后的模型已开放下载，并提供在线 demo 供试用。
OpenAI News精选AI 评分6262 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类神经元，无论概念以字面、符号还是概念化方式呈现，它们都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的视觉变体，也是理解 CLIP 及同类模型所学关联与偏见的重要一步。
推荐理由：OpenAI 公开 CLIP 中跨字面、符号与概念三种呈现方式响应的神经元，为理解多模态模型的关联与偏见提供线索。
OpenAI News精选AI 评分8282 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 官方介绍 CLIP 用自然语言监督学习视觉概念，可零样本迁移到任意分类基准。
OpenAI News精选AI 评分8383 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 官方公布 DALL·E，说明其可由自然语言描述生成图像，是文生图方向的早期节点。