DeepSeek全面开源内部推理框架DeepInfer:Apache 2.0发布,支持英伟达与华为昇腾,把大模型推理成本打下来

10月20日消息,DeepSeek 在官方公号发文宣布,将内部推理框架DeepInfer 全面开源,相关代码已上线 GitHub,采用 Apache 2.0 协议发布,同时开放生产级 Token 编解码组件 deepseek-recipe。这是继开源大模型、TileLang 编译工具与推理算子库之后,DeepSeek 首次把支撑自家大规模服务的”生产级推理栈”完整交到社区手中。

DeepSeek 全面开源内部推理框架 DeepInfer

一、推理框架:决定 AI 服务成本的”关键中间层”

DeepSeek 在发布说明中点明了一个长期被公众忽视的环节:大模型的能力边界由模型本身划定,但如何以合理成本撑起超大规模模型服务,真正取决于推理框架。训练让模型”学有所成”,推理则让模型”为人所用”。面对海量用户调用,推理框架负责统筹调度庞大的算力集群,它的效率直接决定了 AI 服务的算力成本与电力消耗——这也是 DeepSeek 选择把这套内部框架开源的根本原因。

二、DeepInfer 是什么:高性能算子 + 深度优化推理引擎

据介绍,DeepInfer 集成了高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,并且同时兼容英伟达与华为昇腾两套平台。该框架最初主要基于 vLLM 构建,并借鉴了 SGLang 与 TensorRT-LLM 的思路。对想自己搭建推理服务的团队来说,这意味着不必再从零摸索,可以直接站在 DeepSeek 的部署经验之上。

三、生产环境验证:V4.1 Flash 高吞吐、低延迟背后

基于 DeepInfer,DeepSeek 官方已经跑通 V4.1 Flash 的高吞吐、低延迟大规模推理服务,其生产集群日服务量达到 155 万亿 token。框架内的 DSpark 推测解码机制让草稿模型一次提议 5 个 token,再由置信度头预测主模型最可能接受的候选,把每步校验的草稿 token 数量削减约 30%,在 DeepSeek 生产负载下带来 4% 到 7% 的吞吐提升;另一项 128-token 重放技术则能把 prefill 总计算量近乎减半。官方披露的最小高效部署规模为 64 颗 GPU 负责 prefill、另 64 颗负责 decode。

四、deepseek-recipe:与官方 API 完全对齐的编解码组件

与 DeepInfer 同步开源的 deepseek-recipe,是一个生产级的 Token 编解码模块,与 DeepSeek 官方 API 的处理逻辑完整对齐,确保社区自建的推理服务拿到与官方部署一致的 API 体验。运行环境方面,框架要求 Linux、GCC 13.0 及以上、Python 3.12,英伟达平台需要 CUDA 13,昇腾平台需要 CANN 9.2。发布当天,GitHub 仓库星标数已迅速突破 8000。

DeepInfer 推理框架 算力集群

五、开源的意义:算力成本与能耗双降,推动大模型普惠

DeepSeek 表示,此次开源旨在帮助企业、开发者优化私有化与公有云部署,降低算力开销、减少能源消耗,让智能以更低的价格触达更广泛的人群。就在上周末,DeepSeek 刚刚把 V4.1 Flash 升级到 V4.1-Flash-1017,正式官宣”许愿式编程”成为现实(DeepSeek官宣”许愿式编程”:自然语言直接生成完整项目),如今再开源推理框架,等于把”模型能力”和”服务成本”两块拼图同时交了出来。

六、从模型到框架:国产大模型生态的”全栈开源”路径

梳理 DeepSeek 的开源版图可以发现一条清晰的路径:先是模型权重,再是 TileLang 芯片编程语言、推理算子库,如今是 DeepInfer 推理框架。值得注意的是,DeepInfer 对华为昇腾 950 的原生支持,意味着国产算力底座也能复用 DeepSeek 级别的推理优化——配合 DeepSeek 此前启动的千亿级融资与内蒙古大型数据中心建设(消息称DeepSeek将完成1000亿元融资),这家公司正在把”开源”从营销姿态变成产业事实。

常见问题(FAQ)

DeepInfer 是 DeepSeek 内部用于支撑大规模模型服务的推理框架,10月20日以 Apache 2.0 协议全面开源,集成了高性能算子与深度优化推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力。

支持英伟达 SM100 数据中心 GPU 与华为昇腾 950 NPU 双平台,英伟达侧需要 CUDA 13,昇腾侧需要 CANN 9.2,运行环境要求 Linux、GCC 13.0+、Python 3.12。

DeepInfer 最初主要基于 vLLM 构建,并借鉴了 SGLang 与 TensorRT-LLM 的思路,属于在开源生态基础上的深度自研优化,因此业界普遍认为它反过来也会推动 vLLM 等开源框架的演进。

对云厂商和企业开发者来说,可以直接复用 DeepSeek 的推理优化降低部署成本;对普通用户而言,推理成本下降最终会传导为更低的使用价格,同时未来新模型的推理代码也会在 DeepInfer 仓库持续更新。

参考来源:DeepSeek 官方、新京报贝壳财经、搜狐科技、Quartz、SiliconANGLE(内容为原创整理)

© 版权声明

相关文章

暂无评论

none
暂无评论...