继去年底发布一篇新论文后，1月12日晚，DeepSeek又上新了一篇论文，这次聚焦的是大模型的条件记忆模块，在结论中DeepSeek 认为，这将成为下一代稀疏大模型中不可或缺的核心建模原语。
此前有爆料称DeepSeek下一代大模型V4将在春节前后发布，结合这几次研究，业内猜测这或许就是DeepSeek V4的研究路线图。
此次发布的论文是DeepSeek与北京大学合作完成的，名称为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》（《基于条件查找的条件记忆：大型语言模型稀疏性的新维度》），作者一列同样有DeepSeek创始人梁文锋的署名。
这篇论文的核心观察是，大模型包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理，另一种则是检索静态知识。而现有的Transformer架构缺乏原生的知识查找机制，只能通过计算低效地模拟检索过程。例如模型查找不变的知识时，得浪费算力重新推导一遍，既费时间又占资源。
为解决这一问题，DeepSeek团队引入了条件记忆作为补充的稀疏性维度，并通过Engram这一条件记忆模块实现，优化神经计算（MoE）与静态记忆（Engram）之间的权衡关系。
团队还发现了U型缩放定律，表明 MoE 专家和 Engram 记忆之间的混合稀疏容量分配严格优于纯 MoE 基准模型。值得注意的是，尽管记忆模块直观上有助于知识检索，但团队在通用推理、代码和数学领域观察到了更为显著的收益。
简单来说，现在的MoE 模型处理推理和记固定知识用的是一套方法，效率较低且浪费算力，这篇论文本质是给大模型做了 “分工优化”：让专门的模块干专门的事，例如有“记忆本”管固定知识，而推理模块管复杂思考，再按最佳比例分配资源，最终让模型又快又聪明。
DeepSeek在论文最后表明，条件记忆将成为下一代稀疏模型不可或缺的建模原语。有行业人士猜测，此次提出的条件记忆或许就是下一代大模型DeepSeek V4的技术架构。
此前有报道称，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，且内部初步测试表明，V4在编程能力上超过了市场上的其他顶级模型。目前DeepSeek并未对此进行任何回应。报道也提及发布计划可能会根据实际情况进行调整。
自2024年底发布V3模型后，DeepSeek的下一代旗舰模型一直未出，去年底DeepSeek发布了小更新V3.2版本，并提及该版本在多个基准测试中超过了OpenAI的GPT-5和Google的Gemini 3.0 Pro。行业一直在观望DeepSeek的旗舰模型，V4的推出或将成为业界关注的焦点。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
刘晓洁
相关阅读
AI周报| DeepSeek新模型曝光；马斯克炮轰ChatGPT诱导自杀王小川隔空回应张文宏；OpenAI靠API业务月增超10亿美元收入。
5 335 01-25 08:52
DeepSeek新模型真的要来了？“MODEL1”曝光“MODEL1”很可能已接近训练完成或推理部署阶段。
5 361 01-21 14:51
DeepSeek新年炸场！梁文锋署名论文发布给AI“水管”加智能阀。
9 931 01-01 21:22
AI进化速递丨DeepSeek提出mHC新架构DeepSeek发布新论文，提出mHC（流形约束超连接）新架构。
164 01-01 20:20
年终盘点|大模型洗牌、分化、冲上市，无人再谈AI六小龙“2025年关注的是AI模型能做什么，2026年就该到AI到底该怎么样去赚钱，且产业化地赚钱。”
463 2025-12-31 12:43 一财最热 点击关闭星速配资官网提示：文章来自网络，不代表本站观点。
