每日AI快讯

在多模态生成领域，纯解码器模型通过预测下一个 token 来生成各种模态的新序列，如音频、图像或状态-动作序列。这些模型通常通过词汇扩展技术将多模态表征转化为离散 token，然后在预训练或微调阶段进行跨模态对齐。然而，这种方法存在局限性，如无法处理新模态的添加，且缺乏灵活性，因为添加新模态需要重新训练整个模型。为了解决这些问题，Google DeepMind 提出了一种名为“Zipper”的新型多塔解码器架构。Zipper 由多个独立预训练的单模态解码器组成，能在单一模态中预训练，然后通过交叉注意力机制将这些解码器“压缩”在一...

在AI大模型领域，创业者和公司面临诸多挑战，如模型更新迅速、与业务结合困难、预算限制及行业内卷现象。大模型公司的价格战导致资源浪费，而真正有价值的产品和技术并未随之提升。行业内的浮躁氛围，如过度营销和排名竞争，掩盖了技术的实际进展。尽管一些大模型公司经历动荡，如清华系衔远科技的领导层变动，但算法和数据资源的重要性日益凸显。国内大模型数量过剩，缺乏实际应用，算法壁垒不高，且优质数据的获取成为关键。商业模式上，To C收费困难，To B市场则需看到实际效益。价格战虽激烈，但低价策略并不能保证商业...

夏普与KDDI携手，计划将即将停产的日本堺工厂转变为AI数据中心，以实现业务转型。堺工厂作为夏普的全资子公司，原本生产大型液晶面板，但随着此次改造，将标志着日本国内电视机面板生产的终结。此举旨在推动夏普轻资产化，利用英伟达的Blackwell GPU提升数据中心能力。另一方面，京东图书针对近期与磨铁集团的争议做出回应，否认与出版行业对立，强调与出版社应为同一阵营，致力于为消费者提供优质的图书和价格。此外，苹果的Siri升级可能面临延期，预计要到2025年才能看到显著提升，包括更自然和智能的交互体验。英伟达则推...

在探索大语言模型（LLM）的内部运作机制时，EPFL的研究人员对Llama 2家族进行了深入研究，挑战了普遍认为英语是多语言LLM“母语”的观点。他们通过一系列实验，使用特定提示来揭示模型在处理多语言任务时的思考过程。研究发现，尽管Llama 2在最后的输出层倾向于使用中文，但在中间层的“思考”阶段，它似乎使用了一种偏向英语的“内部语言”，并非直接的英语单词，而是与抽象概念相关联的表示。 研究人员通过翻译任务、重复任务和完形填空任务，观察Llama 2的内部状态是否与特定自然语言对应。实验结果显示，模型在大部分前向传递...

彩云科技近期发布了一项创新的AI通用模型结构——DCFormer，它通过改进注意力矩阵，使得在相同的训练数据和算力下，计算效率可提高至Transformer的两倍。DCFormer改变了Transformer中的向量矩阵推理路径，允许任意线性组合，提供了更多的组合可能性。据实验，一个69亿参数的DCFormer模型在某些情况下超越了120亿参数的模型。该模型的论文已在arXiv上发布，并将在ICML 2024大会上正式发表，其源代码、权重和训练数据集也已开源。 DCFormer与现有模型如Mamba、RetNet等不同，它可以叠加在Transformer基础上进行改进，无需从头训...

科大讯飞在最新的互动交流中宣布，其正在研发的讯飞星火V4.0模型，一款与GPT-4相当的人工智能产品，预计将于2024年6月底面世。此外，公司还透露了一个针对GPT-4o的项目正处于研发阶段。科大讯飞致力于将人工智能的最新进展应用于智慧教育领域，以提升产品体验和市场覆盖率。此前，科大讯飞董事长刘庆峰在今年4月提及，讯飞星火V4.0将在6月27日发布，而当前的星火大模型V3.5在多个长文本处理任务上的表现已接近或超越了GPT-4 Turbo。

在最近的一次交流活动中，阿里巴巴集团的资深领导者蔡崇信就人工智能的快速发展及其未来潜力发表了独到见解。他巧妙地将训练人工智能模型比作养育孩子，指出尽管培育一个孩子需要长达22年，但AI只需短短几年就能在知识和特定数学能力上媲美人类，甚至在某些专业领域展现出相当于博士生的水平，这一速度令人震撼。 蔡崇信揭示了阿里巴巴在AI领域的三大策略角色。首先，作为一家科技巨头，阿里巴巴坚定地支持AI技术的持续发展，并积极追求通用人工智能（AGI）的愿景。其次，通过与AI的紧密结合，阿里巴巴的云计算业务正驱动着...

在国内，大模型厂商纷纷将目光转向AI搜索领域，以腾讯推出的“腾讯元宝”为代表，结合混元大模型和搜狗搜索引擎，开启了AI搜索新篇章。国内市场上，既有内嵌大模型的搜索产品，如Kimi、豆包、文心一言、通义千问、腾讯元宝，也有专门的AI搜索产品，如360搜索、秘塔搜索、天工AI搜索等。然而，这一现象让人联想到过去搜索技术的高门槛，现在却似乎变得普及化。面对挑战，百度作为国内搜索引擎巨头，需要应对AI搜索的浪潮。Perplexity，一个基于GPT-3.5的AI搜索产品，成为国内外效仿的对象，尤其是秘塔搜索和天工AI搜索。尽管当...

近日，中国知名互联网资讯平台站长之家(ChinaZ.com)报道了一则重大科技新闻——香港大学携手百度共同推出了创新性的智慧城市模型“UrbanGPT”。这个模型在时空预测技术上取得了显著的进展，解决了传统模型在精准预测上的局限性。时空预测技术现已成为城市管理的关键，不仅涉及交通流量和人口流动，还涵盖了犯罪趋势分析等多个层面。 UrbanGPT的诞生，弥补了城市数据不足导致的预测精度问题，其出色的泛化性能在无样本学习领域展示了巨大的潜力。尽管面临标签稀少、训练成本高以及零样本泛化难题，但UrbanGPT通过采用时空依赖编...

腾讯元宝，作为腾讯混元大模型的首款App，近日正式上线，成为面向C端用户的全能AI助手。该应用已登陆各大主流应用商店，提供AI搜索、AI总结和AI写作等功能，旨在帮助用户高效处理信息。在工作场景中，腾讯元宝能解析多种格式文档，而在日常生活中，它提供特色应用如AI头像和超能翻译。腾讯元宝的AI搜索整合了微信公众号、搜狗和腾讯新闻等多源内容，为创作者带来新的流量入口，但目前仍需人工辨别信息准确性和版权问题。在AI总结和写作方面，腾讯元宝有一定优势，但仍有改进空间。腾讯元宝内置多种智能体，覆盖工作和生活的...