标签：Transformer

在催化剂筛选领域，快速评估催化剂表面与吸附质之间的全局最低吸附能（Global Minimum Adsorption Energy, GMAE）是至关重要的任务。然而，传统基于密度泛函理论（DFT）的计算方法往往需要处理多个吸附位点和复杂构型，导致时间和资源成本高昂。 为解决这一问题，洛桑联邦理工学院（EPFL）Philippe Schwaller教授团队与上海交通大学贺玉莲教授团队联合开发了一种多模态Transformer框架——AdsMT。该框架由博士生陈俊武（现就读于EPFL）和黄旭（现就读于UC Berkeley）共同主导完成，并于2025年4月4日发表在《Nature Communicat...

第一段 令人惊叹的是，一篇完全由人工智能生成的学术论文成功通过了ICLR研讨会的评审！这篇论文获得了6/7/6的高分，甚至超过了人类作者的平均接收门槛。整篇论文结构完整，包括图表和论据，看起来非常专业。这篇论文是由AI Scientist 2.0版本完成的，背后的支持公司是Sakana AI，其创始人之一Llion Jones也是Transformer论文的作者之一。 第二段 新版本的AI Scientist 2.0是一个通用端到端代理系统，与之前的版本相比，它不再依赖人工模板，能够自主提出假设、运行实验、分析数据并撰写科学论文。此外，它的图表理解能力也...

整理后文章： 重新审视注意力机制：对数级别的复杂度？ 近年来，注意力机制在人工智能领域大放异彩，尤其是在 Transformer 模型中。然而，一篇最新的博客引发了 AI 社区的热烈讨论，提出了一个全新的视角：Transformers 中实现的注意力机制，在计算复杂度上应该被视为对数级别（logarithmic）。这篇博客不仅得到了 Karpathy 的高度评价，还为理解注意力机制提供了一个全新的框架。 Karpathy 曾经这样描述神经网络的计算图：“广度是免费的，深度是昂贵的”。这一观点正是 Transformer 的核心灵感来源。作者提到，早在 Neura...

长文本处理能力的突破：互信息缩放定律与 L²M 条件 在追求更强大的 AI 系统过程中，大语言模型处理长上下文的能力一直是发展的关键瓶颈。尽管 DeepSeek、GPT-4 和 LLaMA-3 等顶尖模型已能处理数万 token 的文本，但学术界对「模型究竟需要何种能力才能有效理解长文本」这一根本问题仍缺乏理论指导。近日，麻省理工学院的研究团队提出了自然语言中隐藏的互信息缩放定律（Mutual Information Scaling Law），并由此提出了长上下文语言建模的 L²M 条件（Long-context Language Modeling condition），为理解大语言模型的长文本...

传统的大规模语言模型（LLM）在数学计算方面表现不佳，尤其是面对简单的多位数乘法时，常常出现错误。然而，随着推理模型如o1、o3和DeepSeek-R1的推出，情况正在逐渐改善。例如，DeepSeek-R1在AIME 2024竞赛中取得了79.8%的准确率，而OpenAI发布的o3-mini (high)更是达到了87.3%的准确度。尽管如此，这些模型在处理多位数乘法时仍然存在显著的局限性。 实验结果：多位数乘法的挑战 滑铁卢大学助理教授邓云天通过实验发现，即使是较为先进的模型如o1，在处理超过9x9的乘法时，准确度明显下降。GPT-4o则在4x4乘法时就遇到了困...

深入探讨AI的未来与多模态融合 近年来，AI技术的快速发展正在改变各行各业。语音、视觉和自然语言处理等多模态能力的融合，正逐步模糊各领域的边界。以Transformer为代表的通用解决方案，正在重塑传统技术领域。在这一变革的关键时期，深耕细分领域的研究者们如何看待这种趋势？本期《智者访谈》邀请了著名开源语音识别项目Kaldi的创始人、小米集团语音首席科学家Daniel Povey博士，分享他对AI领域的深刻见解。 Kaldi之后的新探索 Povey博士指出，语音技术虽然取得了显著进展，但已进入一个相对低谷期。他目前更关注文字转...

导语 尽管ChatGPT在全球范围内掀起了AI革命，但很少有人了解其背后的诞生故事。近日，湛庐文化推出了一本关于“ChatGPT之父”山姆·奥尔特曼的新传记《奥尔特曼传》。本书作者周恒星基于与奥尔特曼长达十年的交流，首次全面、近距离地揭秘了这位科技巨头的AI帝国、权力之路和未来蓝图。在ChatGPT发布两周年之际，让我们一起走进书中的世界，跟随奥尔特曼的脚步，探寻GPT模型“从零到一”的诞生历程，致敬那些在创新道路上勇往直前的探索者们！ 01 西部世界 2016年初的硅谷，空气中弥漫着焦虑的气息。科技公司IPO比例跌至过去七...

欢迎来到 Transformer 的世界。两个月前，谷歌的 GameNGen 彻底颠覆了我们对 AI 游戏的认知。这项历史性的突破意味着，未来的游戏将不再依赖于传统的游戏引擎，而是基于扩散模型，实时生成可玩的游戏。GameNGen 的问世，使得开发者无需手动编程，全球价值 2000 亿美元的游戏产业将迎来重大变革。无论是何种类型的游戏，都能根据玩家的想法和需求，创造出独一无二的游戏世界。这一消息迅速在 AI 圈内引起轰动。当时，游戏界最热门的话题除了《黑神话：悟空》，就是米哈游创始人蔡浩宇的犀利观点：「AI 将颠覆游戏开发，建议大...

本文介绍的是国防科技大学智能图形计算团队在智能图形学、具身智能、机器学习及三维视觉等方面的研究成果。该团队拥有众多国家级人才，长期致力于数据驱动三维感知、建模与交互的研究，并在国际上发表了大量高质量论文，荣获多个奖项。 在机器人操作领域，抓取任务一直是核心难题之一。该任务的目标是使机械手准确地移动到指定位置并成功抓取物体。近年来，基于学习的方法显著提升了对不同物体抓取的泛化能力，但在灵巧手（多指机械手）上的泛化研究相对较少。由于灵巧手在结构和几何上有很大差异，抓取策略难以在不同灵巧...

在医学显微图像分类（MIC）领域，基于卷积神经网络（CNN）和 Transformer 的模型已经取得了广泛的研究成果。然而，CNN 在建模长距离依赖关系方面存在不足，而 Transformer 则受限于较高的计算复杂度。为了克服这些挑战，南京农业大学、国防科技大学、湘潭大学、南京邮电大学和苏州大学的研究团队共同开发了一种新的架构——Microscopic-Mamba。 Microscopic-Mamba 采用 Mamba 架构，旨在通过结合 CNN 的局部特征提取能力和状态空间模型（SSM）的全局依赖关系建模能力，改进显微图像分类的效果。研究团队设计了部分选择前馈网...