标签:矩阵乘法

香港中文大学提出RXTX算法,加速矩阵乘法并优化组合问题,助力深度学习与节能计算

(由多段落组成) 矩阵乘法作为计算机科学与数值线性代数中的核心问题,其计算效率直接影响到数据分析、深度学习以及无线通信等领域的性能表现。香港中文大学的一项最新研究成果提出了一种名为RXTX的新算法,该算法能够显著提升特定结构矩阵乘法的计算效率。 在训练和推理过程中,矩阵乘法占据了大部分算力消耗。不论是统计分析还是大规模模型训练,优化矩阵乘法的计算效率一直是研究热点。然而,对于特殊结构矩阵(如XXt)的乘法优化研究相对较少。针对这一问题,香港中文大学的研究团队通过结合机器学习搜索方法与组合优...

标题:DeepGEMM结合Hopper架构优化矩阵乘法,即时编译助力高性能计算——DeepSeek开源第三弹V3/R1训练推理核心代码仅300行

DeepSeek开源第三弹:V3/R1训练推理关键秘籍,核心代码仅300行 2025-02-26 10:40:49 来源:量子位 作者:金磊 发自 凹非寺 在开源周的第三天,DeepSeek团队正式推出了其最新的训练推理优化工具——DeepGEMM。这款FP8 GEMM(通用矩阵乘法)库不仅支持密集矩阵和混合专家(MoE)矩阵运算,而且核心代码仅有约300行,却能实现卓越的性能。 深入了解GEMM GEMM(通用矩阵乘法)是线性代数中的基础运算,在科学计算、机器学习及深度学习领域中扮演着重要角色。由于其计算量巨大,GEMM的性能优化至关重要。DeepGEMM正是为...