Rohan Paul

SemiAnalysis 发布了 GDPx，这是一个基准测试人工智能代理在 11 个领域的专家工作。 顶级型号 Anthropic 的 Claude Opus 5.5 的平均效率仅为 12%，其次是 Google 的 Gemini 4 Carbon，为 10.9%。 OpenAI 的 GPT-6 Astra 在人工智能研究和材料科学任务中名列前茅。 这些任务涵盖芯片设计、网络安全、金融和法律等，来自 14 个专业数据合作伙伴。 与 OpenAI 的 GDPval（在提示中提供模型上下文）不同，GDPx 使代理可以挖掘工作空间，例如真实采集的 3,983 个文件的副本。 排除网络、生物学和一致性（安全分类器有时会介入），OpenAI 的 GPT-6 Astra 从 9.6% 提升至 11.8%，超过了 Opus。 金融和法律击败了所有模型：在及格/不及格评分下，所有模型的得分均为 0，因此 GDPx 报告部分信用。 当被要求改进可行的交易策略时，模型在 111 次尝试中，有 70 次的表现比原来的要差，通常只是冒更大的风险，而不是找到更好的交易。