Hugging Face Blog·· 15 小时前精选AI 评分78
Hugging Face 发布 Olmo-core 3,开放可扩展的大型 MoE 训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Hugging Face 发布 Olmo-core 3,重设计了面向大型 MoE 的开放训练系统,可扩展至 trillion-parameter 规模。
推荐理由
文章结合基准数据和系统设计,说明 Olmo-core 3 如何降低大规模 MoE 训练的通信与显存开销,并开放给研究者复用。
来源:Hugging Face Blog · huggingface.co