DeepSeek在开源周期间宣布了多项开源项目,旨在推动通用人工智能(AGI)的研究进展。以下是各项目的核心信息和特点:
DeepGEMM开源
DeepGEMM是一个专为FP8通用矩阵乘法(GEMM)设计的库,具有细粒度缩放功能。该库支持普通和混合专家(MoE)分组的GEMM,采用CUDA编写,无需编译即可安装,通过即时编译(JIT)模块在运行时编译所有内核。
DeepEP开源
DeepEP是首个用于MoE模型训练和推理的开源EP通信库。其特点包括高效、优化的全员沟通;支持NVLink和RDMA的节点内和节点间通信;高吞吐量内核用于训练和推理预填充;低延迟内核用于推理解码;原生FP8调度支持;以及灵活的GPU资源控制,实现计算-通信重叠。
FlashMLA开源
FlashMLA是DeepSeek开源周首个开源的代码库。
开源周和AGI研究
DeepSeek在2月24日启动了“开源周”,并在2月21日宣布将开源5个代码库,以完全透明的方式分享其在AGI领域的研究进展。
开源项目 | 日期 | 特点 |
---|---|---|
FlashMLA | 2月24日 | 首个开源代码库 |
DeepEP | 2月25日 | 高效全员沟通,支持NVLink和RDMA,高吞吐量和低延迟内核 |
DeepGEMM | 开源周第三天 | FP8通用矩阵乘法库,支持普通和MoE分组GEMM |