标签：ICML 2024

随着人工智能技术的快速发展，评估AI智能体的能力变得尤为重要。在4月2日，美国开放人工智能研究中心（OpenAI）正式推出了一个名为PaperBench的新基准工具。这一工具旨在测试AI智能体复现前沿AI研究成果的能力。 PaperBench的核心任务是要求智能体从零开始复现20篇来自ICML 2024 Spotlight和Oral的精选论文。这些任务不仅涉及对论文贡献的理解，还需要开发相应的代码库，并成功执行实验。通过这一过程，可以全面评估AI智能体在理解和实现复杂研究任务方面的能力。 经过一系列测试，研究人员发现多个前沿模型在PaperBench上...