英伟达开源的大模型训练框架,专注超大规模模型的并行训练,是训练千亿级模型的重要基础设施,适合日常使用。
Megatron-LM 是英伟达开源的大规模语言模型训练框架,专为超大规模训练设计,提供张量并行、流水线并行与序列并行等多种策略,能把体量极大的模型拆分到成百上千张显卡上协同训练。它被众多机构用于训练千亿参数级模型,也是许多商业训练方案的重要参考。使用它需要较深的分布式训练经验与相应的硬件条件,通常部署在自建集群上。项目开源免费。