跳到正文

#部署/工程

今日 0 条
10月2日周五
9月29日周二
  1. MIT Technology Review · AI12

    HPE:如何让 AI 从费用变成资产

    HPE 提出企业 AI 支出正从按 token 计费的消费模式转向自建容量的资本决策,关键在于找到自身工作负载的"交叉点"——持续用量足以摊薄固定成本时,拥有算力才比逐次购买更经济。文章建议领导者先问三个问题:需求是否稳定可预测、何种用量下自建更划算、能否通过采用与治理让容量保持高产。

9月21日周一
7月30日周四
  1. Hugging Face Blog22

    GPU 管理:为什么闲置 GPU 是新的停飞飞机

    Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能本身。GPU 按日历小时计费,产出却只按计算小时累积,两家 GPU 预算相当的公司会因利用率差异而拉开差距。企业自购 GPU 本地部署可把按 token 线性增长的 API 成本换成固定资本支出,但集群上线后的问题变成如何让它们保持忙碌。

7月7日周二
6月1日周一
2月3日周二
1月27日周二
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 长文分析全球算力格局如何向中国倾斜

    Hugging Face 发布长文分析全球 AI 算力格局的变化,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。

    推荐理由:梳理美国出口管制与中国国产芯片、开源模型之间的因果链,并给出从硬件到软件栈的替代进展时间线。

4月13日周三
10月26日周二
  1. Hugging Face Blog30

    大语言模型:新的摩尔定律?

    微软和 NVIDIA 发布 Megatron-Turing NLG 530B,号称全球最大最强的生成式语言模型,但复现该实验的基础设施成本接近 1 亿美元。作者质疑这类超大模型趋势:单台 DGX A100 服务器售价 19.9 万美元、功耗最高 6.5 千瓦,而 2019 年马萨诸塞大学研究显示在 GPU 上训练 BERT 的碳排放约等于一次横跨美国的飞行。

10月20日周三