标签:计算效率

IBM预览Granite 4.0 Tiny模型:12GB显存实现128K上下文5并发会话,提升计算效率与内存需求优化的Transformer架构

随着科技的快速发展,各大企业纷纷推出自己的创新技术。在本月 2 日,IBM 正式介绍了其 Granite 4.0 系列模型中的一个轻量级版本——Granite 4.0 Tiny 的预览版。这款模型以其卓越的计算效率和极低的内存需求而备受关注。 具体来看,Granite 4.0 Tiny Preview 在 FP8 精度下运行时,能够支持多达 5 个并发对话,每个对话的上下文窗口为 128KB,仅需 12GB 显存即可完成任务。这意味着,一张建议零售价为 329 美元(约合人民币 2383 元)的英伟达 GeForce RTX 3060 12GB 消费级显卡就能够满足其硬件需求。 此外,Granite 4.0 T...

TTT模型引领生成式AI革命:Transformers架构与隐藏状态提升机器学习效率

新一代人工智能的焦点——测试时间训练模型(TTT)正崭露头角,作为对Transformers架构的革新。Transformers,如OpenAI的Sora、Anthropic的Claude和谷歌的Gemini等模型的基础,虽然强大,但在处理大规模数据时面临计算效率低下的挑战。随着硬件需求的飙升,企业和环境可持续性面临压力。TTT模型应运而生,由斯坦福大学、加州大学圣地亚哥分校、伯克利分校和Meta的研究团队共同研发,历时一年半。TTT不仅能处理更多数据,而且计算能耗显著降低。 Transformers的核心是隐藏状态,一种存储处理内容的查找表。然而,这种设计使得...

微软发布AI天气预测模型 能精准预报未来30天天气

微软Start团队近期发布了一项创新性的AI天气预测模型,该模型基于数据驱动,能够精确预测接下来一个月的气候状况。这一突破性研究提升了预报的准确度,并且在计算效率上实现了重大改进。该模型融合了五个人工智能模型和三种深度学习框架,通过学习历史气象数据,以理解并预测复杂的天气模式。据论文显示,新AI模型在预测7天内的天气时,对比目前最准确的欧洲中期天气预报中心(ECMWF)模型,准确度提升了17%,即使是预测未来4周的天气,也高出4%。此外,微软的模型在计算效率上超越了传统的NWP/ECMWF模型,能够在单个NVIDIA ...