DeepSeekV4.1Pro或为2万亿参数,国产芯片加持训练新里程碑
DeepSeek V4.1 Pro大模型预计采用2万亿参数架构,其训练或将深度绑定华为昇腾系列国产AI芯片。作为国内顶尖大模型之一,V4.1 Pro延续了CED+Engram等创新设计,并计划在未来扩...
近日,科技媒体Theinformation网站披露DeepSeek正在研发一款参数量高达2万亿的大模型,即DeepSeek V4.1 Pro。这款备受期待的AI产品不仅延续了DeepSeek此前发布的V4.1 Flash版本中的多项技术创新,更将训练过程与国产AI芯片深度绑定,预示着中国人工智能产业在核心技术领域的又一重要突破。
从技术细节来看,DeepSeek V4.1 Pro采用了全新的架构设计,包括CED(Context Embedding Decomposition)+Engram、Prefill与Decode拆分以及非对称式激活结构等关键组件。这些技术的组合使得模型在处理长文本时能够更高效地完成上下文理解与生成任务。根据估算,训练这样一个2万亿参数规模的模型大约需要50-60万亿Token的数据量,对计算资源的需求极为庞大。
在硬件适配方面,DeepSeek选择了国产AI芯片作为主要训练平台,特别是华为的昇腾950系列。该系列芯片分为PR(训练)和DT(推理)两个版本,能够分别满足模型训练和实际应用中的不同需求。通过软硬件协同优化,DeepSeek的新架构可以充分发挥昇腾芯片在Prefill与Decode两个核心计算阶段的优势,实现更高的训练效率和更低的能耗。
值得注意的是,尽管目前已有多个国产大模型参数量超过2万亿,如文心一言5.0、Kimi K3和千问Qwen 3.8 Max等,但这些模型均未公开使用国产AI芯片进行训练。因此,如果DeepSeek V4.1 Pro确实采用国产芯片完成2万亿参数规模的训练,这将是国产AI生态发展的一个重要里程碑。即使仅在部分训练环节使用国产芯片,也意味着中国在构建自主可控的AI产业链方面取得了实质性进展。
展望未来,DeepSeek计划将大模型的参数规模进一步扩展至8万亿级别。虽然具体发布时间尚未明确,但考虑到当前的技术积累和硬件准备,这一目标有望在未来几年内实现。与此同时,华为的下一代昇腾960系列芯片也将提前1-3个季度上市,这将进一步缓解困扰国产大模型发展的算力瓶颈问题。随着硬件基础设施的不断完善,中国大模型厂商将更有能力与OpenAI、Anthropic等国际巨头展开正面竞争。
图表显示了DeepSeek V4.1 Pro可能采用的核心配置参数,包括总参数量2万亿级别、64层总层数、384个路由专家以及CSA2 + FP4混合精度训练模式等关键指标。这些技术规格不仅体现了DeepSeek在模型设计上的创新思路,也为后续更大规模模型的研发奠定了坚实基础。