国产GPU首次实现大模型训练

5月27日，摩尔线程与无问芯穹联合宣布，双方已经正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。此次训练，是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100％，千卡训练和单机相比扩展效率超过90％。目前，实训出来的模型在同规模模型中跻身前列。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。