DeepSeek 开年发布新论文：提出全新 mHC 架构，梁文锋现身作者名单

（由多段落组成）：

2025年1月1日，DeepSeek团队正式发布了一项关于神经网络架构创新的重要研究成果。该研究提出了一种名为“mHC”（流形约束超连接，manifold-constrained Hyperconnection）的全新模型结构，旨在解决当前主流超连接技术在训练大规模AI模型时面临的稳定性与效率瓶颈。此次论文已于Arxiv和Hugging Face平台同步公开，引发学术界广泛关注。

近年来，随着深度学习模型不断向更深、更复杂的结构演进，传统的残差连接机制逐渐显现出局限性。为此，研究者提出了“超连接”（Hyperconnection, HC）等新型连接范式，通过拓宽残差路径并引入多样化的信息流动方式，显著提升了模型性能。然而，这种灵活性也破坏了原始残差结构中关键的恒等映射特性，导致训练过程容易出现震荡、收敛困难，并带来更高的显存访问开销，限制了其在超大规模场景下的应用。

针对这一问题，DeepSeek团队提出的mHC架构创造性地将超连接的空间映射到特定几何流形上，在保留其表达能力的同时，有效恢复了恒等映射属性。这种方法不仅增强了训练过程的稳定性，还大幅改善了模型的可扩展性。结合底层基础设施的深度优化，mHC在实际训练中展现出更高的计算效率与资源利用率，为千亿参数级别以上模型的稳定训练提供了可行路径。

值得注意的是，这篇论文共有三位主要第一作者：解振达（Zhenda Xie）、韦毅轩（Yixuan Wei）以及曹欢奇（Huanqi Cao），而DeepSeek创始人兼CEO梁文锋也位列作者名单之中，显示出公司对基础架构研发的高度重视。从实验结果来看，mHC在多个基准任务中均实现了优于传统方法的性能表现，尤其在长序列建模和高维特征融合方面优势明显。

业内专家认为，mHC不仅是对现有超连接技术的一次重要升级，也为未来神经网络拓扑结构的设计提供了新的理论视角。它有望成为支撑下一代大模型架构演进的关键组件之一。研究人员表示，后续将继续探索mHC在不同模态（如视觉、语言、多模态）中的泛化能力，并推动其在实际产品中的落地应用。

mHC架构, 超连接技术, 大模型训练, 流形约束, DeepSeek论文

本文来源：