AI2 发布 Olmo-core 3:面向万亿参数 MoE 的开源训练基础设施
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重大升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出了 MoE 训练栈的吞吐与显存对比数据,读者可据此判断万亿参数 MoE 训练的开源方案成熟度。
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重大升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出了 MoE 训练栈的吞吐与显存对比数据,读者可据此判断万亿参数 MoE 训练的开源方案成熟度。
NVIDIA 发布开源表格基础模型 Kumo Tabular,属于 NVIDIA Kumo Structured 模型集合,已在 Hugging Face 上线。
推荐理由:原文给出表格基础模型的架构、训练数据来源与四个基准排名,可据此判断免训练表格预测的可用边界。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨模态生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。
推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。