Megatron-LM

Megatron-LM 是 NVIDIA 的大规模训练框架：提出并实现了张量并行、流水线并行与序列并行等模型并行技术，支撑千亿到万亿参数模型的训练，多数主流大模型训练框架都借鉴了其并行方案。
提供数据并行与模型并行的组合策略、检查点与推理支持，适合多机多卡的专业训练集群。
适合场景：超大模型的预训练、需要模型并行的科研与工业训练。
上手方式：按文档在多卡环境配置并行策略与数据加载后运行训练脚本。