DeepSeek在開源週期間宣布了多項開源項目,旨在推動通用人工智能(AGI)的研究進展。以下是各項目的核心信息和特點:
DeepGEMM開源
DeepGEMM是一個專為FP8通用矩陣乘法(GEMM)設計的庫,具有細粒度縮放功能。該庫支持普通和混合專家(MoE)分組的GEMM,採用CUDA編寫,無需編譯即可安裝,通過即時編譯(JIT)模塊在運行時編譯所有內核。
DeepEP開源
DeepEP是首個用於MoE模型訓練和推理的開源EP通信庫。其特點包括高效、優化的全員溝通;支持NVLink和RDMA的節點內和節點間通信;高吞吐量內核用於訓練和推理預填充;低延遲內核用於推理解碼;原生FP8調度支持;以及靈活的GPU資源控制,實現計算-通信重疊。
FlashMLA開源
FlashMLA是DeepSeek開源週首個開源的代碼庫。
開源周和AGI研究
DeepSeek在2月24日啟動了“開源週”,並在2月21日宣布將開源5個代碼庫,以完全透明的方式分享其在AGI領域的研究進展。
開源項目 | 日期 | 特點 |
---|---|---|
FlashMLA | 2月24日 | 首個開源代碼庫 |
DeepEP | 2月25日 | 高效全員溝通,支持NVLink和RDMA,高吞吐量和低延遲內核 |
DeepGEMM | 開源週第三天 | FP8通用矩陣乘法庫,支持普通和MoE分組GEMM |