在当今快速发展的生成式AI时代,敦煌网APP的下载量从百名之外飙升至苹果美区AppStore排名第二,这一现象引发了关于企业如何应对激增流量的广泛讨论。亚马逊云科技大中华区数据及存储产品总监Troy Cui在量子位举办的中国AIGC产业峰会上分享了对此问题的见解。
Troy Cui指出,企业在构建架构时需要提前考虑当每日活跃用户(DAU)从1万增长到千万级,或者每日Token处理量从几千飙升到上亿时,现有架构是否能够持续支撑。为了应对这些挑战,亚马逊云科技提供了一套全面的解决方案,包括SageMaker Unified Studio等工具,帮助企业在大规模扩展的情况下保证系统的可用性和可靠性。
亚马逊云科技不仅服务于个人开发者和初创企业,还为大型企业客户提供支持。例如,一家重要的搜索引擎公司在海外市场拥有庞大规模,其TPM(每分钟处理的令牌数)已达千万级别,即将突破亿级门槛。在这种情况下,亚马逊云科技通过实现企业内不同部门、不同角色之间的高效协作,确保整个系统稳健运行。
此外,亚马逊云科技还推出了Amazon Q这款AI助手产品,能够将自然语言转换为SQL查询,进行代码审查,并判断生成代码是否存在潜在的IP风险。这有助于开发者更高效地完成任务,同时保障知识产权的安全。
在技术栈方面,传统企业和新兴互联网用户存在差异。亚马逊云科技观察到,“湖仓一体”概念的兴起正是为了解决这种差异,推动传统企业和互联网企业的技术融合。亚马逊云科技致力于减少后端复杂性,通过Zero-ETL等手段自动化地汇聚数据,帮助企业更高效地构建生成式AI应用。
以丰田北美为例,亚马逊云科技的解决方案有效解决了其供应链管理中数据资产跨部门流转、治理和赋能的挑战。Troy Cui强调,在构建生成式AI应用时,必须提前规划可扩展的架构,以应对未来可能的增长需求。
最后,Troy Cui分享了亚马逊云科技每年的产品大会re:Invent的感受。他认为,当前构建生成式AI应用的关键在于建立具备自动扩展能力的底层架构,只有当存储、计算、数据基础设施和AI平台都具备弹性伸缩能力时,才能真正支撑业务从初期验证到规模化增长的全生命周期需求。
本文来源: