螞蟻集團AI創(chuàng)新研發(fā)部門NextEvo近日宣布，他們將全面開源AI Infra技術(shù)，以推動AI研發(fā)效率的提升。該技術(shù)框架名為DLRover，目標在于實現(xiàn)大規(guī)模分布式訓練的智能化。

DLRover技術(shù)能夠幫助大模型千卡訓練實現(xiàn)高效運行，有效時間占比超過95%。這意味著在訓練過程中，大部分時間都能夠得到充分利用，而不是浪費在無謂的操作上。通過實現(xiàn)訓練時的“自動駕駛”，該技術(shù)能夠顯著提高AI研發(fā)的效率。

為了進一步提高大模型訓練的效率和穩(wěn)定性，NextEvo團隊還對DLRover進行了持續(xù)的優(yōu)化和完善。最新集成進DLRover的是Flash Checkpoint（FCP）方案。在模型訓練過程中，通常需要打Checkpoint以便在中斷時能夠恢復到最近的狀態(tài)。然而，常規(guī)的Checkpoint做法存在一些缺點，如耗時長、高頻打點易降低訓練可用時間、低頻打點恢復時丟失過多等。

針對這些問題，F(xiàn)CP方案進行了優(yōu)化。通過應用FCP方案，在千卡千億參數(shù)模型訓練中，Checkpoint導致的訓練浪費時間降低了約5倍。此外，持久化時間降低了約70倍，有效訓練時間從90%提升至95%。這一改進顯著提高了模型訓練的效率和穩(wěn)定性，進一步推動了AI技術(shù)的發(fā)展。

螞蟻集團開源DLRover技術(shù)的舉措將為AI研發(fā)領域帶來積極的影響。通過分享和交流，這一技術(shù)有望成為推動AI領域發(fā)展的重要力量。我們期待看到更多基于DLRover技術(shù)的創(chuàng)新應用和突破性成果，為人工智能的發(fā)展做出更大的貢獻。