Google DeepMind·· 2026-04-22精选AI 评分62
Google DeepMind 提出 Decoupled DiLoCo 分布式训练架构
Decoupled DiLoCo: A new frontier for resilient, distributed AI training
AI 导读
Google DeepMind 发布论文提出 Decoupled DiLoCo 分布式训练架构，将大规模训练拆分为解耦的计算孤岛，孤岛间以异步数据流通信，从而隔离局部硬件故障并降低带宽需求。
推荐理由
原文给出跨数据中心异步训练的具体带宽与加速数据，读者可据此判断分布式预训练的工程可行性。
来源：Google DeepMind · deepmind.google