红帽推动开源项目发展，发布原生支持AI Agent的生成式AI大模型llm-d，基于Kubernetes技术，探索AI开源与安全新方向

第一段
智东西（公众号：zhidxcom）报道，全球领先的开源解决方案提供商红帽公司，在5月19日至22日于美国波士顿举办的红帽全球峰会上宣布启动全新的开源项目——llm-d。该项目旨在满足生成式AI的大规模推理需求。期间，红帽多位高管与亚太区媒体进行了深入交流，分享了红帽的使命和愿景。

第二段
红帽总裁兼首席执行官Matt Hicks表示，红帽致力于为客户提供真正的选择和灵活性，无论是Linux、容器还是自动化，每一层都保持开放且值得信赖。这种开放性催生了vLLM、Kubernetes、OpenShift等项目中的大规模协作与共享标准生态。高级副总裁Ashesh Badani补充说，开源离不开社区的支持，新发布的llm-d正是这一点的体现。红帽与谷歌云、AMD、NVIDIA等伙伴共同宣布这一项目，只有在共同创建并持续维护的前提下，开放才真正有意义。

第三段
红帽推出的llm-d社区，旨在助力大规模分布式生成式AI推理。该项目由红帽与CoreWeave、谷歌云、IBM Research、NVIDIA合作打造，并获得了多个机构的支持。llm-d采用原生Kubernetes架构、基于vLLM的分布式推理和智能AI感知网络路由，能增强vLLM的能力，使得大语言模型（LLM）推理云能够满足苛刻的生产服务级目标（SLO），为AI推理解锁大规模生产。

第四段
根据市场调研机构Gartner的数据，到2028年，80%以上的数据中心工作负载加速器将专门用于推理。随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并有可能因成本过高和延迟过长，而使AI创新陷入瓶颈。红帽及其行业合作伙伴正通过llm-d应对这一挑战。

第五段
红帽认识到，在快速发展的生成式AI推理领域，充满活力且易于访问的社区至关重要。该公司计划积极推动llm-d社区的发展，为新成员营造一个包容的环境，并促进其持续发展。Stefanie Chiras谈道，生态合作写在红帽的基因里。红帽从上游社区做起，把成果延伸到ISV、系统集成商以及云服务商。

第六段
Chris Wright透露说，红帽将通过两条路径原生支持AI Agent：确保Agent运行时在OpenShift与RHEL上都能高效工作；把Agent能力融入自家产品组合。Andrew Brown认为AI的普及速度堪比早期电子商务，横跨所有行业，这是真正的势能，而非炒作。

第七段
Matt Hicks认为混合云的格局已经翻转。五年前，主旋律还是“全部上公有云”；两年前，大家开始承认，很多工作负载会继续留在本地，同时工厂、门店、车辆等边缘场景迅速崛起。AI进一步放大了这一趋势：为了降低延迟、保证数据就地处理，推理往往必须贴近数据产生点执行。

第八段
红帽团队相信开放将继续带来更快速、更优质的安全改进。无论许可证开放还是专有，AI的核心安全议题都是一致的：防止输出敏感或有害、阻断越狱提示、抵御对抗样本与数据投毒。学术界和社区对这些问题的研究非常活跃，而开放能加速解决方案的演进。

第九段
从IBM收购红帽的第一天起，双方就统一在三大支柱RHEL、OpenShift、Ansible之上。AI的未来不应受到基础设施孤岛的限制。红帽团队认为，未来企业可以在任意云环境中的任意加速器上部署任意模型，提供出色且更加一致的用户体验，并且无需高昂的成本。

本文来源： 智东西【阅读原文】