跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–34 条 · 共 34 条
6月11日周四
  1. Google DeepMind71

    Google DeepMind 发布 DiffusionGemma:文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理提速,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 26B MoE 文本扩散模型的速度数据、硬件门槛与质量取舍,便于判断本地低并发场景是否值得尝试。

5月28日周四
5月27日周三
  1. Mistral AI60

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业平台的一部分。该能力从几何与边界条件直接预测物理场,单次前向推理在单块 GPU 上以秒级完成,而非传统求解器的小时到数周。Mistral 称其合作方包括 ASML、Airbus、Safran 和 Siemens Energy,并已开放 AI 4 Engineering 团队的新职位。

    推荐理由:Mistral 把物理仿真 AI 纳入企业平台,并给出 ASML、Airbus 等合作方,读者可据此判断工业仿真工作流的可能变化。

5月22日周五
4月27日周一
  1. Mistral AI72

    Mistral AI 发布 Workflows 公开预览版

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久执行、可观测性和人工介入能力,ASML、ABANCA、CMA-CGM 等客户已用于自动化关键流程。

    推荐理由:Mistral 把企业级 AI 编排的持久执行、可观测与人工审批打包进 Studio,读者可据此判断生产化落地的门槛变化。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 提出 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布论文提出 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算孤岛,孤岛间以异步数据流通信,从而隔离局部硬件故障并降低带宽需求。

    推荐理由:原文给出跨数据中心异步训练的具体带宽与加速数据,读者可据此判断分布式预训练的工程可行性。

12月17日周三
  1. Mistral AI62

    Mistral 发布 OCR 3,表单与手写识别胜率较上一代提升 74%

    Mistral AI 发布 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,官方称其准确率超过企业文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出 OCR 3 相对上一代在表单、手写和复杂表格上的胜率与每千页定价,便于评估文档解析管线的替换成本。

7月30日周三
  1. Mistral AI62

    Mistral 发布 Codestral 25.08 及企业级编码栈

    Mistral AI 发布 Codestral 25.08 及完整企业编码栈,包含 Codestral Embed 代码嵌入模型、基于 OpenHands 的 Devstral 智能体,以及支持 JetBrains 和 VS Code 的 Mistral Code 插件。

    推荐理由:Mistral 把补全、代码检索与智能体工作流打包成可私有部署的企业编码栈,读者可据此判断自托管方案与 SaaS 路线的差异。

6月11日周三
6月4日周三
  1. Mistral AI62

    Mistral 发布企业级 AI 编码助手 Mistral Code

    Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量或本地 GPU 气隙部署,代码保留在企业边界内。

    推荐理由:Mistral 把模型、IDE 插件与本地部署打包成企业级编码助手,可据此判断私有化 AI 编码的落地路径。

5月27日周二
5月7日周三
  1. Mistral AI60

    Mistral AI 推出 Le Chat Enterprise,由 Mistral Medium 3 驱动

    Mistral AI 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内陆续上线。

    推荐理由:官方给出企业版功能清单与部署方式,可据此判断私有化与连接器能力是否匹配现有工作流。

3月7日周五
  1. Mistral AI78

    Mistral AI 发布文档理解模型 Mistral OCR

    Mistral AI 发布光学字符识别 API Mistral OCR,可把图片和 PDF 解析为有序交错的文本与图像,并已作为 Le Chat 的默认文档理解模型。

    推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,可据此判断它在文档解析与 RAG 流程中的位置。