跳到正文
原文
Hugging Face Blog·· 15 小时前精选AI 评分78

Hugging Face 发布 Olmo-core 3,开放可扩展的大型 MoE 训练基础设施

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI 导读

Hugging Face 发布 Olmo-core 3,重设计了面向大型 MoE 的开放训练系统,可扩展至 trillion-parameter 规模。

推荐理由

文章结合基准数据和系统设计,说明 Olmo-core 3 如何降低大规模 MoE 训练的通信与显存开销,并开放给研究者复用。

来源:Hugging Face Blog · huggingface.co