跳到正文

#数据/训练

今日 0 条
10月1日周四
  1. Hugging Face Blog60

    AI2 发布 Olmo-core 3:面向万亿参数 MoE 的开源训练基础设施

    AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重大升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。

    推荐理由:原文给出了 MoE 训练栈的吞吐与显存对比数据,读者可据此判断万亿参数 MoE 训练的开源方案成熟度。

9月29日周二
7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 与 Google DeepMind 提出 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料来自五百万名同意参与者、超过一万亿分钟的多模态传感器信号,覆盖 100 多个国家、50 个美国州和 20 多种 Fitbit 与 Pixel Watch 设备。

    推荐理由:Google 用五百万人的万亿分钟可穿戴数据预训练通用生理表征,读者可了解基础模型在健康领域的规模化路径。