跳到正文

#部署/工程

今日 9 条
4月13日周一
4月10日周五
4月9日周四
4月1日周三
  1. Hugging Face Blog62

    Hugging Face 推出 gradio.Server,让任意前端接入 Gradio 后端

    Hugging Face 发布 gradio.Server,它扩展自 FastAPI,允许用 React、Svelte 或原生 HTML/JS 自建前端,同时保留 Gradio 的排队、SSE 流式、并发控制、MCP 支持和 Spaces 上的 ZeroGPU。

    推荐理由:官方给出 gradio.Server 的完整示例与代码,读者可据此判断自建前端如何复用 Gradio 的队列与 GPU 能力。

3月31日周二
3月27日周五
3月25日周三
  1. Google Research60

    Google 发布 TurboQuant 等三种向量量化算法,KV cache 可压至 3 bit

    Google 发布 TurboQuant 压缩算法,并配套提出 QJL 与 PolarQuant,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 上展示。

    推荐理由:Google 提出 TurboQuant 等三种向量量化算法,可在不损失精度下把 KV cache 压到 3 bit,读者可了解其压缩思路与实测收益。

3月21日周六
  1. Hugging Face Blog62

    NVIDIA 发布一天内构建领域专用嵌入模型的完整教程

    NVIDIA 发布教程,介绍用单张 GPU 在不到一天内把通用嵌入模型微调为领域专用模型,全程无需人工标注。流程基于 NeMo Data Designer 生成合成问答对、用难负样本挖掘做对比学习,微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据集上 Recall@10 与 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 公开了从合成数据生成到 NIM 部署的完整嵌入模型微调流程,并给出可复现的评测数字。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段,并同时支持稠密与 MoE 架构及多模态输入。

    推荐理由:原文给出企业用自有数据训练前沿模型的分阶段训练路径与智能体落地方式,可据此判断企业自建模型的可行边界。

3月11日周三
3月10日周二
3月9日周一
3月5日周四
  1. Hugging Face Blog34

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,涵盖机器人数据集录制、VLA 策略微调(ACT 与 SmolVLA)以及端侧优化。NXP 以"把茶包放进杯子"任务为例,用 3 个摄像头(顶部、夹爪、左侧)录制 120 个 episode,并指出异步推理需让端到端延迟短于动作执行时长。指南还介绍了 NXP i.MX 95 SoC 优化后的实时性能表现。

2月28日周六
2月27日周五
2月26日周四
2月23日周一
2月20日周五
2月19日周四
2月13日周五
  1. Hugging Face Blog62

    Hugging Face 发布 CUDA kernel agent skill,Claude 与 Codex 端到端生成可用内核

    Hugging Face 构建了一个 agent skill,教编码智能体编写生产级 CUDA kernel,并用 Claude 和 Codex 在 diffusers 与 transformers 两个真实目标上端到端生成了可用的 kernel、PyTorch 绑定和基准测试。

    推荐理由:Hugging Face 把 CUDA kernel 开发知识打包成 agent skill,并给出两个真实目标的端到端基准数据,可迁移到其他领域技能设计。

2月9日周一
2月6日周五
2月5日周四
2月3日周二
1月27日周二
1月23日周五
1月22日周四
1月21日周三
1月20日周二
1月15日周四
1月14日周三
1月9日周五
1月8日周四
12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3,表单与手写识别胜率较上代提升 74%

    Mistral AI 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,并称其准确率超过企业文档处理方案与 AI 原生 OCR 方案。

    推荐理由:官方给出与上一代在表单、手写和表格上的胜率对比,以及每千页定价,可据此判断文档解析成本与适用场景。