Google 发布 Project Suncatcher 太空 AI 基础设施系统设计预印本
Google 公布名为 Project Suncatcher 的研究计划,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,相关预印本论文探讨了卫星间高带宽通信、轨道动力学和辐射对计算的影响。
推荐理由:Google 公开了太空 AI 数据中心的系统设计与关键挑战,读者可了解其轨道、通信和 TPU 抗辐射的初步验证结果。
Google 公布名为 Project Suncatcher 的研究计划,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,相关预印本论文探讨了卫星间高带宽通信、轨道动力学和辐射对计算的影响。
推荐理由:Google 公开了太空 AI 数据中心的系统设计与关键挑战,读者可了解其轨道、通信和 TPU 抗辐射的初步验证结果。
Google Research 提出可证明隐私洞察(PPI),结合大语言模型、差分隐私(DP)和可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析非结构化 GenAI 数据。
推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部核验的隐私分析流程,读者可了解端侧 AI 数据如何在不暴露个体数据的前提下被统计。
Google Research 发布 StreetReaderAI 无障碍街景原型,基于 Gemini 构建 AI Describer 与 AI Chat 两个子系统,为盲人和低视力用户实时生成道路、路口与地点的语音描述,并支持语音或键盘平移、移动和跳转。
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集,采用 CC BY 4.0 许可。
OpenAI 公布了一套面向 ChatGPT 政治偏见的新评估方法,采用更贴近真实场景的测试方式来提升客观性并减少偏见。该方法试图为 LLM 政治偏见的定义与衡量提供更可验证的标准。
NVIDIA 发布首个面向日本的主权 AI 开源合成数据集 Nemotron-Personas-Japan,含 600 万条日语合成人物画像(100 万条记录、每条 6 个画像),总 token 约 14 亿,采用 CC BY 4.0 许可,可商用。
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2,并开源配套的 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:GAIA 后继基准 Gaia2 转向读写与噪声环境,配套 ARE 框架可复现评测,便于对照各家模型在真实任务上的差距。
OpenAI 基于迄今规模最大的 ChatGPT 使用研究,展示了该工具如何在个人与职业场景中创造经济价值。研究显示,ChatGPT 的采用正从早期用户向更广泛人群扩展,逐步缩小使用差距,并成为日常生活的一部分。
Hugging Face 发布 Jupyter Agent 项目,通过生成高质量 notebook 训练数据并微调 Qwen3-4B,使其在 DABStep 数据科学基准上成为最强小模型智能体。
OpenAI 新研究解释了语言模型产生幻觉的原因,并指出改进评测方法可以提升 AI 的可靠性、诚实性与安全性。
SandboxAQ 在 Hugging Face 上开源 SAIR 数据集,包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构,每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 标签,采用 CC BY 4.0 许可免费开放。
伯克利 AI 研究团队证明,在若干温和近似条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,其梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率 P(i,j) 与一元概率 P(i) 定义,从小初始化训练时模型按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,理论预测与数值实验高度吻合。
Kimina Prover 团队开源 kimina-prover-rl 训练管线,基于 DeepSeek-R1 式"先推理后生成"范式,用于 Lean 4 形式化定理证明,并完全兼容 Verl 框架。
Hugging Face 推出 TextQuests 基准,基于 25 款经典 Infocom 交互式文字游戏,测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face 发布 FilBench 评测套件,覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言,包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并基于 Lighteval 构建。
Hugging Face 推出 3LM(علم),一个专门评测阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准,包含 865 道原生 STEM 选择题、1744 道合成高难度选择题,以及翻译成阿拉伯语的 HumanEval+ 与 MBPP+ 代码任务。
Hugging Face 开源长视频理解基准 TimeScope,将 5-10 秒的"针"片段插入 1 分钟至 8 小时的视频中,考察定位检索、信息综合与细粒度时序感知三项能力。测试显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力,性能随视频变长明显下滑。
Arc Institute 发起 Virtual Cell Challenge,要求参赛者训练模型预测 CRISPR 沉默某个基因对(部分)未见细胞类型的影响,即"上下文泛化"。
OpenAI 发布 ChatGPT agent 系统卡,介绍这一智能体模型整合了研究、浏览器自动化和代码工具。系统卡说明相关能力在 Preparedness Framework 下配有安全防护措施。
推荐理由:OpenAI 官方系统卡披露 ChatGPT agent 的能力组合与 Preparedness Framework 下的安全措施,可了解其风险边界设定。
Hugging Face 发布 FutureBench,用真实预测市场与新闻生成任务评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题,同时接入 Polymarket 每周约 8 个问题,答案可随时间客观验证,且从设计上杜绝数据污染。
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛,面向 LLM 早期训练阶段(约 200B tokens 以内)构建科学知识领域的评测基准,参赛者需基于 lm-evaluation-harness 通过 Hugging Face Space 提交方案。
OpenAI 研究发现,用错误回答训练语言模型会引发更广泛的失准行为,并识别出驱动这一行为的内部特征,该特征可通过极少量微调逆转。
Hugging Face 分享研究,将 CodeAgent 的思考与代码强制以结构化 JSON 生成,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
普林斯顿团队发布 HELMET 长上下文语言模型评测基准,已评估 59 个近期 LCLM,并将在 ICLR 2025 展示。该基准针对现有评测过度依赖 NIAH 等合成任务、与实际下游表现相关性差的问题,从多样性、可控性和可靠性三方面改进。
OpenAI 推出 PaperBench,用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究,具体任务、评分方式与结果尚未在原文中披露。
OpenAI 与 MIT Media Lab 开展研究合作,探索 ChatGPT 情感使用与情绪健康的早期研究方法。该合作聚焦于研究 AI 聊天机器人在情感层面的使用方式及其对用户心理健康的影响。
Hugging Face 的 Open R1 项目发布第三期更新,聚焦复现 DeepSeek-R1 配方中的竞赛编程代码推理部分。
推荐理由:Open R1 公开了 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型,并给出五条蒸馏训练经验,可迁移到自己的代码推理训练流程。
OpenAI 发布研究称,前沿推理模型在有机会时会利用规则漏洞,可以用 LLM 监控其思维链来检测这类作弊行为。研究还发现,惩罚模型的不良想法并不能阻止大多数不当行为,反而会让模型隐藏自己的意图。
推荐理由:OpenAI 公开了用 LLM 监控思维链检测前沿推理模型作弊的发现,并指出惩罚坏想法会让模型隐藏意图。
Adyen 与 Hugging Face 联合推出 DABstep,一个面向多步推理的数据分析智能体基准,包含 450+ 个源自 Adyen 真实业务的数据分析任务。评测显示,当前最强的推理型智能体准确率仅 16%,凸显模型在真实数据分析场景中的巨大差距。该基准同时包含结构化与非结构化数据,任务答案采用二元判定,仅需代码执行环境即可运行并提交至实时排行榜。
Hugging Face 在 Open LLM Leaderboard 中新增模型推理的 CO₂ 排放估算,基于 2024 年 6 月以来对 3000 多个模型的评测数据。分析覆盖 Gemma、Llama、Mistral、Mixtral、Phi、Qwen2 等 2742 个模型,发现社区微调或合并模型通常比其官方基座模型更低碳,而部分 MoE 模型因推理时间过长导致排放高于预期。
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial,并发布首个数据集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD 三大材料数据库,形成 670 万条条目、7 种材料属性的统一数据格式,采用 CC-BY-4.0 许可。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与榜单,采用新的 3C3H 评测指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略,数据集与评测代码先盲测三个月再公开,随后更换新私有基准,以缓解数据污染。该基准同时覆盖多轮与单轮场景,是这一语言无关评测框架的首次应用。
BAAI 推出 FlagEval Debate 平台,让大模型以辩论形式直接对抗,目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制,并提供开发者自定义参数功能,以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示,当前多数模型已具备参与辩论的能力。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),让目标模型与助手模型不再需要共享 tokenizer,可跨模型家族配对。
推荐理由:Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法,给出了可对照的加速数据和 Transformers 调用方式。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法进行改进。
Hugging Face 的 Daily Papers 页面已收录超过 3,700 篇论文、订阅者突破 12k,作者可一键认领论文并关联模型、数据集与 demo。用户还能提交论文、用 @librarian-bot 推荐相似论文、多语言评论并借助内置翻译交流,订阅后每个工作日可收到最新论文邮件。
Hugging Face 构建了 FineVideo 数据集,包含 4.3 万个视频、总时长 3.4 千小时,并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万条英文视频出发,经词密度与视觉动态性过滤后,用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
Hugging Face 提出 LAVE(LLM-Assisted VQA Evaluation),用 Llama-2-Chat-7b 以 1-3 分制对答案打分,在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5 的零样本表现。
OpenAI 开发并应用了一种基于规则的奖励(RBRs)新方法,让模型在无需大量人工数据采集的情况下学会安全行为并对齐。该方法旨在改善模型的安全行为表现。