跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

134条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 81–100 条 · 共 134 条
7月15日周二
6月11日周三
  1. Mistral AI62

    Mistral AI 推出 Mistral Compute AI 基础设施服务

    Mistral AI 发布 Mistral Compute,提供包含 GPU、编排、API 与服务的私有集成栈,形态从裸金属服务器到全托管 PaaS。该服务将搭载 NVIDIA 参考架构,可提供数万块 GPU,并包含用于区域和行业特定 AI 的训练套件。Mistral 称其面向欧洲、中东、亚洲及南半球等寻求美国或中国云厂商替代方案的机构,强调数据主权与脱碳能源。

    推荐理由:Mistral 从模型厂商延伸到自有 AI 基础设施,读者可据此判断欧洲主权算力供给的另一种路径。

6月4日周三
  1. Mistral AI60

    Mistral 发布企业级 AI 编码助手 Mistral Code

    Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,提供 IDE 插件、本地部署选项和企业管理工具,基于开源项目 Continue 构建。

    推荐理由:Mistral 把模型、IDE 插件与企业管控打包成一套可私有部署的编码方案,读者可据此判断企业级 AI 编码的落地路径。

6月3日周二
5月28日周三
  1. Mistral AI60

    Mistral AI 发布代码嵌入模型 Codestral Embed

    Mistral AI 发布首个专为代码设计的嵌入模型 Codestral Embed,官方称其在真实代码检索任务上显著优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。

    推荐理由:官方给出代码嵌入模型在检索任务上的对比与维度精度取舍,可据此评估代码 RAG 的存储成本。

5月27日周二
5月22日周四
5月15日周四
  1. Hugging Face Blog62

    Hugging Face 将 Transformers 定位为跨框架模型定义标准

    Hugging Face 宣布将 Transformers 打造为跨框架的模型定义中枢,模型架构只要被 Transformers 支持,就能在生态其他工具中获得支持。目前 Transformers 已支持 300+ 模型架构,平均每周新增约 3 个,并与 vLLM、SGLang、TGI 等推理引擎及 llama.cpp、MLX 打通互操作。官方还计划简化建模代码、弃用冗余组件,降低社区贡献门槛。

    推荐理由:Hugging Face 官方说明 Transformers 将作为跨框架的模型定义中枢,读者可据此理解模型一次贡献、多引擎复用的生态走向。

5月7日周三
  1. Mistral AI62

    Mistral 推出 Le Chat Enterprise,由 Mistral Medium 3 驱动

    Mistral 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,提供企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。

    推荐理由:Mistral 把企业搜索、Agent 构建与混合部署打包进同一平台,可据此判断企业级 AI 助手的集成路径。

3月18日周二
3月7日周五
  1. Mistral AI77

    Mistral AI 发布文档理解 API Mistral OCR

    Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错提取文本与图像,并已作为 Le Chat 文档理解的默认模型。

    推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,可据此判断它在文档解析与 RAG 流程中的位置。

2月17日周一
  1. Mistral AI60

    Mistral 发布区域语言模型 Mistral Saba

    Mistral AI 发布 Mistral Saba,这是其首个专门面向区域语言的模型,参数规模 24B,训练数据来自中东和南亚。该模型支持阿拉伯语和多种印度源语言,在泰米尔语等南印度语言上表现突出,官方称其回答比规模大 5 倍以上的模型更准确,同时速度更快、成本更低。

    推荐理由:Mistral 推出面向中东和南亚的区域语言模型,读者可了解其参数规模、语言覆盖与本地部署方式。

1月30日周四
1月21日周二
12月24日周二
10月29日周二
10月23日周三
  1. Hugging Face Blog60

    Hugging Face 推出 HUGS 生成式 AI 服务,零配置部署开源模型

    Hugging Face 发布生成式 AI 服务 HUGS,提供零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。

    推荐理由:HUGS 把开源模型的推理部署从数周压缩到分钟级,并给出兼容 OpenAI API 的落地路径,可据此判断自托管开源模型的工程成本。

10月9日周三