商汤

以下是根据您的要求，以人工撰写风格进行深度整理后的SEO优化文章。在保留核心技术信息与专业性的基础上，进行了逻辑重构、语言润色、术语通俗化处理，并强化了用户搜索意图（如“多模态模型架构”“无编码器AI”“商汤新模型”等高频搜索场景），同时规避原文重复表达，提升可读性与搜索引擎友好度。

（由多段落组成）

告别拼凑式设计：商汤联合南洋理工发布NEO-unify，开启多模态AI原生统一新时代

2026年3月7日，人工智能领域迎来一次范式级突破——商汤科技携手新加坡南洋理工大学（NTU）正式推出全新多模态基础架构 NEO-unify（预览版）。该技术并非简单升级现有模型，而是从底层逻辑发起挑战：彻底移除视觉编码器（VE）与变分自编码器（VAE）两大传统组件，首次实现“像素+文本”双原生输入、“理解+生成”双向闭环的端到端统一建模。这意味着，多模态AI正加速脱离“模块组装”的旧路径，迈向真正意义上的“一个模型、一种智能”。

为什么砍掉VE和VAE是关键一步？
过去多年，主流多模态系统普遍依赖“视觉编码器提取特征→文本编码器对齐语义→VAE解码生成图像”的三段式流水线。这种设计虽推动了早期发展，却也埋下三大隐性瓶颈：一是信息损失严重——图像经VE压缩后丢失大量空间细节；二是模态割裂固化——理解与生成分属不同子网络，难以协同进化；三是训练效率低下——需分别预训练、对齐、微调，算力与数据成本居高不下。NEO-unify直击痛点，用“无编码器（Encoder-Free）”设计打破桎梏，让模型直接从原始像素流和自然语言中学习跨模态本质规律。

核心技术亮点：MoT混合Transformer + 原生接口双引擎驱动
NEO-unify的核心创新在于两大支柱：
✅ 原生视觉接口（Native Visual Interface）：采用近似无损的像素序列化方案，将图像转化为高保真token流，避免任何中间表征压缩，为后续细粒度重建与编辑提供坚实基础；
✅ 混合Transformer主干（Mixture-of-Transformer, MoT）：在同一模型框架内动态分配计算资源，使语言理解、视觉推理、跨模态生成共享底层表征空间，显著降低模态间内在冲突。实验证明，在理解分支冻结状态下，仅靠生成分支即可完成高质量图像编辑，印证了其表征的强泛化性与解耦能力。

实测性能亮眼：小数据、低开销、高保真
在MS COCO 2017图像重建任务中，参数量仅20亿（2B）的NEO-unify取得PSNR 31.56 / SSIM 0.85，逼近Flux VAE（32.65 / 0.91）水准；更值得关注的是，在ImgEdit图像编辑基准上，它以仅6万步混合训练即斩获3.32分，且全程冻结理解分支——这标志着模型具备“单支激活、多能输出”的轻量化智能潜力。对比同类模型Bagel，NEO-unify在更少训练token下达成更优效果，数据利用效率提升超35%。

不止于技术突破：它指向下一代AI的终极形态
NEO-unify的价值远超单一架构迭代。它正在重新定义“智能体”的边界：不再需要在文本、图像、空间关系之间反复翻译，而是像人类一样，同步感知、即时推理、自然生成。未来基于该范式的模型，有望支撑真正的空间智能、具身推理与世界模型构建——例如，通过一段文字描述实时生成带物理约束的3D场景，或根据视频帧流自主推演物体运动轨迹。目前，相关模型权重、训练代码及技术白皮书已上线Hugging Face与商汤官方博客，开源生态建设全面启动。

本文来源： 量子位【阅读原文】