跳到正文
MIT Technology Review · AI· Grace Huckins·· 15 小时前AI 评分58

METR 更新 AI 时间跨度图:新增开放式任务,模型判断力仍落后

The most misunderstood graph in AI just got a major update

AI 导读

AI 评估非营利机构 METR 更新了其时间跨度图,新增了耗时更长、更开放的任务,并发现模型在需要判断力的任务上表现不及编程。原图显示前沿模型能完成的任务时长每四个月翻一倍;新任务中,没有一个 AI 设计的评估方案被 METR 员工认为可用于研究,模型在哲学论证打分上也低于人类。METR 技术成员 Matt Putz 表示,难以验证的任务很难像易验证任务那样得出清晰稳健的趋势。

来源:MIT Technology Review · AI · technologyreview.com