|
deepseek团队近期发布了一篇题为《mhc: manifold-constrained hyper-connections》（《mhc：流形约束超连接》）的论文，正式推出全新网络架构——mhc（流形约束超连接）。该设计聚焦于缓解大规模模型训练过程中普遍存在的不稳定性难题，有望为未来基础模型架构的升级提供关键思路。 论文作者名单中，DeepSeek创始人兼CEO梁文锋位列联合作者，核心研发工作由解振达（Zhenda Xie）、韦毅轩（Yixuan Wei）与曹焕琪（Huanqi Cao）主导完成。
论文链接：https://www.php.cn/link/df4940468534f2c23ad26a7e9c1aba46 据论文披露，mHC通过引入严格的数学约束机制（例如双随机矩阵所定义的流形结构），将传统超连接（HC）模块中潜在的信号放大效应从高达3000倍大幅压缩至仅约1.6倍，在根本上抑制梯度爆炸与数值震荡，从而显著增强训练鲁棒性，同时不牺牲模型表达能力。实测表明，在27B参数规模模型上，采用mHC后推理准确率提升约7%，而训练耗时仅增加6.7%，达成“低开销、高回报”的协同优化目标。  司马阅 国产领先的AI文档分析产品，帮您从繁杂文档中解放出来 下载结合文中提到的“内部多轮大规模验证”以及DeepSeek过往产品迭代节奏，业界普遍预期其下一代旗舰模型V4或将支持长达100万token的上下文窗口，深度适配国产AI加速芯片，并初步集成多模态理解与生成能力。发布时间预计锁定在2026年2月初，借势春节用户活跃高峰集中展示技术突破。 源码地址：点击下载 |
