如何在手机上通过 React Native 本地运行 LLM:Hugging Face 边缘推理指南
Hugging Face 发布教程,演示如何用 React Native 和 llama.rn(llama.cpp 的绑定)构建 Android/iOS 应用,从 Hugging Face hub 下载 GGUF 模型并在设备本地离线运行。
Hugging Face 发布教程,演示如何用 React Native 和 llama.rn(llama.cpp 的绑定)构建 Android/iOS 应用,从 Hugging Face hub 下载 GGUF 模型并在设备本地离线运行。
Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错提取文本与图像,并已作为 Le Chat 文档理解的默认模型。
推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,可据此判断它在文档解析与 RAG 流程中的位置。
OpenAI 帮助将工程周期加速 20%。
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流,由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成,可将会议转录自动生成 PRD 并转化为结构化开发工单,自动在 Linear、Jira 等项目管理工具中创建工单。
LaunchDarkly 首席产品官 Claire Vo 分享了产品经理角色的变化、她的"反待办清单"以及如何打造 AI 原生团队。
OpenAI 宣布推出 NextGenAI,承诺向多家领先机构提供 5000 万美元资金和工具。该计划面向学术与研究机构,具体合作机构名单和工具内容尚未在现有材料中披露。
Cohere For AI 发布 Aya Vision 系列 8B 和 32B 参数视觉语言模型,覆盖 23 种语言,并以开放权重形式发布。
推荐理由:官方披露了 8B 与 32B 两个开源权重的多语言视觉语言模型,并给出与更大规模模型的对比胜率,便于判断小参数多模态模型的当前水位。
Hugging Face 宣布与 JFrog 合作,将 JFrog 扫描器集成到 Hugging Face Hub,用于检测模型权重中的恶意代码。相比仅对模块名做模式匹配的 picklescan,JFrog 会解析并分析模型权重中的代码,以减少误报。所有公开模型仓库在推送文件后将自动被扫描,目前已扫描数亿个文件。
OpenAI 与九家美国国家实验室联合举办首届 1,000 Scientist AI Jam Session,汇聚顶尖科学家参与。这是该类型的首次活动。
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 做追踪与评估,通过 OpenTelemetry 和 OpenInference 自动捕获每次 Agent 调用。
Mercari 借助 GPT-4o mini 和 GPT-4 简化卖家上架流程、优化商品信息并提升销量,推出 AI Listing Support 和 Mercari AI Assistant 等功能。这些能力用于改造其在线交易市场的商品发布体验。
OpenAI 发布 GPT-4.5 系统卡,并以研究预览形式推出 GPT-4.5,称其是目前规模最大、知识最广的模型。
推荐理由:OpenAI 公布 GPT-4.5 系统卡,说明这是其目前规模最大、知识最广的模型,并以研究预览形式发布。
Endex 基于 OpenAI 的 o1 和 o3-mini 推理模型构建自主金融分析师,用于重塑金融分析工作流程。
Hugging Face 与印度科学研究所 IISc/ARTPARK 达成合作,让全球开发者更便捷地使用印度多模态多语言数据集 Vaani。
OpenAI 发布 deep research 系统卡,说明该功能发布前开展的安全工作,包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估,以及针对关键风险领域构建的缓解措施概览。
推荐理由:OpenAI 公开 deep research 发布前的安全评估流程,可了解外部红队与 Preparedness Framework 如何落地。
Hugging Face 发布 FastRTC,一个用 Python 构建实时音频和视频 AI 应用的实时通信库。它内置自动语音检测与轮次切换、WebRTC 版 Gradio UI、WebSocket 支持,并可通过 fastphone() 获取免费电话号码接入音频流。库还提供语音转文字、文字转语音和停用词检测等工具,可挂载到任意 FastAPI 应用部署。
推荐理由:FastRTC 把 WebRTC 实时音视频通信封装成 Python 库,读者可据此判断实时语音应用的搭建门槛变化。
Hugging Face Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints,以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Google 发布 SigLIP 2 系列多语言视觉语言编码器,在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标。
推荐理由:梳理 SigLIP 2 相比 SigLIP 新增的训练目标与 naflex 动态分辨率变体,便于理解视觉编码器的演进方向。
Uber 客户至上部门 AI 与产品负责人 Jai Malkani 分享了 Uber 如何借助 AI 实现出色的实时(on-demand)体验。对话内容围绕 Uber 在 AI 与产品结合上的实践展开。
Hugging Face 发布 SmolVLM2 系列视频理解模型,提供 2.2B、500M 和 256M 三种参数规模,并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由:官方给出三种参数规模与 Video-MME 表现,可据此判断小模型端侧视频理解的实际可用边界。
Google 发布 PaliGemma 2 Mix,这是基于 SigLIP 和 Gemma 2 的 PaliGemma 2 视觉语言模型系列的微调版本,覆盖 OCR、长短图像描述、视觉问答、目标检测与图像分割等任务。模型提供 3B、10B、28B 三种参数规模和 224、448、896 三种分辨率,支持 HF Transformers 与 JAX 框架,并已上线演示。
OpenAI 发布 SWE-Lancer 基准,用于测试前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实外包项目为题目来源,衡量模型在实际软件工程工作中的变现能力。
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商,支持 DeepSeek-R1、Flux.1 等模型,并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商,或经 HF 路由计费;PRO 用户每月获 2 美元推理额度。
Mistral AI 发布 Mistral Saba,这是其首个专门面向区域语言的模型,参数规模 24B,训练数据来自中东和南亚。该模型支持阿拉伯语和多种印度源语言,在泰米尔语等南印度语言上表现突出,官方称其回答比规模大 5 倍以上的模型更准确,同时速度更快、成本更低。
推荐理由:Mistral 推出面向中东和南亚的区域语言模型,读者可了解其参数规模、语言覆盖与本地部署方式。
OpenAI 与 Guardian Media Group 宣布达成内容合作,将 Guardian 的新闻内容引入 ChatGPT。
Hugging Face 用 Math-Verify 重新评测了 Open LLM Leaderboard 上提交过的全部 3751 个模型,替换掉此前无法正确解析答案格式、SymPy 表达式和等价比较的旧评测器。
推荐理由:官方复盘了旧数学评测的解析缺陷,并给出重评后榜单变化,可据此理解基准分数差异的来源。
Fireworks.ai 正式成为 Hugging Face Hub 支持的推理服务商,可在模型页面及整个 HF 生态中提供无服务器推理。
Fanatics Betting and Gaming 首席财务官 Andrea Ellis 分享了公司如何运用 AI 聚焦大局。这场对话围绕该博彩公司在业务中落地 AI 的思路展开。
Wayfair 首席技术官 Fiona Tan 分享了公司如何用 AI 塑造零售业的未来。这场对话围绕 Wayfair 在零售场景中的 AI 布局展开,具体模型、功能与数据未在原文中披露。
Rogo 借助 OpenAI o1 扩展 AI 驱动的金融研究。o1 的推理能力帮助该平台处理复杂金融分析任务。
Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本:在 nvidia-L4($0.8/hr)上,DistilBERT 情感分类模型处理 10 亿条输入约 $253.82,gte-modernbert-base 嵌入约 $409.44,而 2.21B 参数的 ColQwen2 视觉嵌入高达 $44,496.51。
Hugging Face 的 Xet 团队开源了 xet-core 和与 huggingface_hub 集成的 hf_xet,用 Rust 实现基于内容分块的上传下载方案,部分场景提速 2-3 倍。
Hugging Face 发布一套三阶段视频数据集构建工具链,涵盖 yt-dlp 下载、Video to Scenes 切分、水印/美学/NSFW/运动评分过滤,以及 Florence-2 与 Qwen2.5 打标。团队用该工具构建 crush-smol-v0 等数据集,并以 finetrainers 微调 CogVideoX-5B 生成 Pika 风格特效。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 为 NuminaMath 1.5 的 40 万道题各生成两个答案,共 80 万条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的生成与过滤流程,读者可参考其本地推理与验证方法。
OpenAI 与 Schibsted Media Group 宣布达成内容合作,将把《卫报》(Guardian)的新闻与历史档案内容引入 ChatGPT。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测平台。初版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 180 多个机构提交的 700 多个模型,参数规模从 1B 到 70B 以上。新版回应社区对阿拉伯语专项任务直接评测、基准透明度和方言多样性数据集的诉求。
OpenAI 在超级碗投放了其首支电视广告,旨在激发人们对 AI 的好奇心。广告强调 AI 能为生活开启新可能、带来更多满足感并提升生产力,如同此前所有工具对人类的作用一样。
Mistral AI 发布全新 le Chat AI 助手,同步上线 iOS 和 Android,并推出 Pro 与 Team 付费档,Enterprise 档处于私有预览。
推荐理由:官方一次性交代了 le Chat 的移动端、Pro/Team 定价与 Flash Answers 等能力,可据此判断其与现有助手的差异。
OpenAI 面向欧洲客户推出数据驻留功能,作为其企业级数据隐私、安全与合规体系的一部分。该功能支持全球客户,具体上线时间与适用模型未在原文中披露。
OpenAI 宣布与加州州立大学(CSU)系统合作,将 ChatGPT 带给 50 万名学生和教职员工,官方称这是迄今规模最大的一次 ChatGPT 部署。该合作旨在扩大 AI 在教育中的使用,并帮助美国培养具备 AI 能力的劳动力。
推荐理由:OpenAI 与加州州立大学系统合作,把 ChatGPT 覆盖到 50 万师生,是观察 AI 进校园规模的一个样本。