DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
DeepSeek 以 Apache 2.0 许可开源高性能大规模推理框架 DeepInfer,项目仓库为 https://github.com/deepseek ai/DeepInfer。 据项目摘要信息,该框架包含优化 kernel、模型与 sampler 运行时,并提供 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案。 公开摘要还列出 DSpark、置信度调度验证、SWA bounded replay、零...