一个研究团队说“用了 AI 以后快了四倍”,另一个评测报告说“模型能力进步速度接近原来的两倍”。这两句话可能都成立,也可能指向完全不同的事实。前者可能只计算写实验脚本的时间,后者则在观察一系列模型的能力曲线。把它们直接连成“AI 已经能独立完成全部研发”,中间会漏掉实验、验证、资源和组织决策等许多环节。
2026 年 11 月 5 日,METR 发布对 Anthropic 内部研发加速的独立评估。报告中的 AECI 基准趋势估计为此前速度的 1.9 倍,给出的 95% 置信区间为 1.5 至 2.8 倍;整体判断仍有显著不确定性,且多项关键证据未向公众公开。报告也区分了 AI 辅助与完全自主贡献。METR 原始评估
本文关注的是这类结果如何被正确使用。它不是对未公开数据的独立复核,也不预测某个日期会出现怎样的智能。下面会用一套明确假设的研发流水线,说明局部提速、团队产出和能力进步之间究竟隔着什么,以及一个普通工程团队能怎样收集更有解释力的证据。
三个分母,决定了三个完全不同的问题
“速度提升”至少有三种常见分母。第一种是单个任务的耗时,例如修复一个测试、实现一个算子或整理一批样本。第二种是团队在单位时间交付并验收的成果数,例如一周完成多少个有效实验。第三种是模型能力指标随时间变化的斜率。它们分别对应执行效率、组织吞吐和研究进展。
一个脚本从四小时缩短到一小时,单任务速度确实提高四倍。但如果脚本接下来还要排队两天才能占到计算资源,这次节省不一定改变实验完成日期。即便实验更快完成,也可能只是更快地排除了一个无效想法,没有让最终模型分数提高。反过来,一个很少发生、却改变训练方法的发现,可能带来明显能力进展,未必表现为每个人日常编码都变快。
因此,阅读加速声明时,先把单位补出来:是“每个任务节省的工时”“每周验收成果”“每月能力分数增长”,还是“达到同一能力所需计算量的减少”?这些量可以互相提供线索,却不能直接互换。尤其是能力指数,通常不是一个有天然零点的物理量;指数增加一定分数,不应被随意解释成“智能增加同样百分比”。
比较时间段也很重要。如果早期阶段恰好在等待基础设施迁移,而后期阶段同时增加人员、计算资源和数据供给,简单的前后对比会把多种变化一起算到 AI 头上。解决方法不是因此宣布所有观察都无效,而是把不同输入拆开,说明哪些解释已经被排除,哪些仍然可能成立。
编码快四倍,整个项目为什么只快了一点
设想一个十天的研究迭代:两天确定问题和设计实验,四天实现,三天运行与分析,一天审查。假设四个阶段完全串行,AI 只把实现阶段从四天缩短到一天,其他条件不变。新周期是七天,整体加速约为 1.43 倍,而不是四倍。
这个例子里的约束非常朴素:提速只作用于一部分工作。如果把实现时间继续压到接近零,另外六天仍然存在,整体提速的理论上限也只有约 1.67 倍。这个上限来自当前工作分解,不是关于 AI 永远做不到什么的结论。只要 AI 同时改善实验设计或结果分析,工作分解就需要重新测量,不能继续拿旧比例当成固定规律。
审查还可能变贵。生成代码速度提高后,审查者要理解更多备选实现、确认依赖和复现实验。如果审查从一天变成两天,新周期就是八天,提速只剩 1.25 倍。这里没有说 AI 必然增加审查负担,而是提醒团队把这项成本记下来。把作者节省的四小时和审查者新增的三小时分别放在两个报表里,很容易制造局部成功、整体无收益的错觉。
同样,模型可以迅速写出十个候选实验,但团队未必有能力解释十个异常结果。研究中最稀缺的资源可能从实现能力转移到判断能力。评估时要问的,不只是“现在谁更快了”,还包括“现在谁开始排队了”。这比单独统计生成代码行数更接近真实生产过程。
把假设写成可以运行的模型
下面的 Python 3.12 程序没有调用模型,也没有使用任何公司的内部数据。Work 表示串行阶段的耗时;rates 是一个流量核算,用来计算候选成果经过筛选后,有多少能被审查环节接收。它不是完整排队仿真,不包含随机到达、服务时间分布和返工循环。
from dataclasses import dataclass
@dataclass(frozen=True)
class Work:
design: float
implementation: float
experiment: float
review: float
def duration(w):
return w.design+w.implementation+w.experiment+w.review
def rates(proposals, pass_rate, review_capacity):
candidates=proposals*pass_rate
accepted=min(candidates,review_capacity)
backlog=max(0,candidates-review_capacity)
return candidates,accepted,backlog
base=Work(2,4,3,1)
code_fast=Work(2,1,3,1)
review_cost=Work(2,1,3,2)
print('baseline_days',duration(base))
print('code_4x_days',duration(code_fast),'speedup',round(duration(base)/duration(code_fast),4))
print('review_cost_days',duration(review_cost),'speedup',round(duration(base)/duration(review_cost),4))
for label, args in [('baseline',(20,.5,12)),('more_candidates',(60,.5,12)),('quality_shift',(60,.2,12))]:
print(label,rates(*args))
assert duration(code_fast)==7
assert duration(review_cost)==8
assert rates(60,.5,12)==(30,12,18)
assert rates(60,.2,12)==(12,12,0)
print('4 assertions passed')
将它保存为 rd_pipeline.py,运行 python rd_pipeline.py。本次执行中,十天基线、七天实现提速方案和八天审查成本增加方案均得到上述结果,四个断言通过。baseline 的每周有效候选为十个、实际接收十个;more_candidates 的有效候选为三十个、接收十二个、净新增待审十八个;quality_shift 的有效候选和接收量都是十二个。
这些数值是算例的执行结果,不能当成实际团队绩效。代码的用处是迫使讨论者说明自己的假设。认为 AI 能让成果翻倍的人,需要指出它改变了哪一项输入;认为增加实验没有价值的人,也需要说明哪一个环节构成约束。把争论落到可修改的参数,比争论一个脱离流程的总倍数更容易推进。
更多候选并不自动变成更多知识
在第二个算例里,团队每周生成二十个候选,其中一半满足初步标准,审查能力是十二个。因此每周能接收十个。AI 把候选量提高到六十个,初步通过率保持不变,待审候选达到三十个,但最终仍只能接收十二个。生产端扩大三倍,交付端只扩大两成,并且每周新增十八个待审项。
积压不会只是一个统计数字。候选等待越久,代码基线、数据版本和实验环境越容易变化,复核时需要重新解释上下文。评审者还可能优先选择容易判断的工作,使复杂但重要的候选继续沉底。如果团队只看“实验数量增长”,这些后续负担很难被看见。
第三种情况则说明质量分布的重要性。候选仍是六十个,但初步通过率降到两成,最终只有十二个进入审查。团队可能没有形成待审积压,却在无效候选上花了更多计算和注意力。数量相同、资源相同,结果却完全不同。至少需要同时记录候选量、有效率、验收量与返工,而不是把一个生成计数器当成研究产出。
当然,低通过率也不一定坏。探索更大胆、风险更高的方向,本来就可能失败更多,却偶尔带来更大的进展。因此不能用一个固定通过率奖励保守研究。更合理的是把“快速修复已知问题”和“探索未知路线”分开统计,分别定义成功:前者看可靠交付,后者看信息增益、被排除的假设和后续发现价值。
归因需要一个尽量可信的“没有 AI 会怎样”
METR 在十月的方法文章中把能力变化、AI 贡献、未来瓶颈和评估局限分开讨论,并强调需要同时观察研发输入与输出。这提供了一个有用起点,但并不让因果归因自动成立。评估方法说明
对普通团队,可以从范围较窄、风险较低的任务开始做对照。先固定验收标准和任务类型,再随机分配是否允许使用某个工具,记录开始时间、提交时间、审查时间、失败重试和实际合并时间。任务最好在实验前就确定,而不是让使用工具的人挑选最适合工具的题目,再与另一组难题比较。
随机化也有局限。使用者会学习新的工作方法,这种经验可能迁移到对照组;团队成员会互相交流;相邻任务可能共享同一份代码或提示。因此结果应明确适用范围,不要把两周的小型实验变成全公司永久提速倍数。若无法随机分配,可以做分阶段推广或匹配相似任务,但应公开其中的选择偏差,而不是把观察性数据写成严格因果结论。
日志中还应区分人的主动工作时间与墙钟时间。一个代理运行两小时,人只检查十分钟,可能节省了工时,却未缩短用户等待;另一个流程把两小时等待改成二十分钟,人的工作量却没有减少。两种改进都可能有价值,只是对应不同目标。采购和排期时混淆它们,会产生非常不同的预算错误。
访谈也值得保留。开发者往往知道日志看不到的事情,例如一个工具让自己敢于尝试过去不会开始的方向。但主观感受更适合解释机制、发现遗漏变量,不宜独自承担精确倍数的证明。数字与访谈应该互相质询:若记录没有提速而使用者觉得明显更好,是质量提高、任务变难,还是测量漏掉了某一段工作?
公开证据不足时,怎样既不轻信也不装作没有信息
外部评估能接触内部资料,是重要的信息增量;公众无法直接检查其中的关键材料,也是实际限制。这两件事可以同时成立。独立机构的判断不等于已经完成公开复现,资料被删节也不自动证明结论错误。合理的做法是把可信度分层:公开可复算的统计、评估者基于非公开材料的判断,以及读者自行提出的推论,应各自标明。
可以把文章中的每个强结论写成一条简短记录:结论指什么,依据哪一类材料,主要替代解释是什么,新增什么证据会改变判断。例如“团队进度变快”可以由交付记录支持;“主要因为 AI”还需要排除资源增长或流程改造;“未来会继续加速”则进一步依赖瓶颈和收益递减的假设。越往后,越不能仅凭前一句的可信度自动继承确定性。
日期同样要分层。报告发布日期、数据覆盖截止日和被评价模型的日期并不是同一天。以十一月发布的报告讨论七月状态时,应明确说是在回看历史窗口;不能把历史风险评级当作当前所有内部模型的状态。相邻报告覆盖不同时间段,出现不同判断也未必意味着其中一份出错。
这种读法的收益是避免两种极端:一种把“有加速迹象”扩展成任何能力都已实现,另一种因为无法查看全部材料,就把所有新增证据当作零。更有价值的问题是:哪些判断已经有足够依据采取可逆措施,哪些需要等待更强证据,哪些不该据此作出不可逆决定。
从观察到行动,先补上验收与回退的滞后
研发速度变快,评估未必按同样比例变快。假设一个团队原来每月产生一个重要版本,安全和质量检查需要两周;后来每周都有新版本,旧检查流程就会持续落后。即使每次检查本身很认真,决策者拿到的仍可能是已经过时的结论。这里的关键变量是评估结果的年龄,而不仅是是否存在评估报告。
一个可执行的改进,是把发布资格绑定到具体版本、工具权限、训练或配置变更,而不是一个长期沿用的产品名称。小变更可以走快速回归,能力、权限或工作方式明显变化则触发重新评估。这样做并不要求每个版本都重做全部工作,但要求团队解释为什么原证据仍适用。
还要保留无法由被评对象自行改写的验收标准。若代理既生成实验,又修改评分器,再用新评分器宣布自己成功,速度提高可能只是评价目标发生了移动。测试集版本、评分程序、数据处理和人工例外应能追溯;允许改进测试,但变更需要独立审查,不能在看到失败结果后无记录地降低门槛。
我的结论是,这次讨论真正值得带回工程团队的,不是一个可以贴进绩效汇报的加速倍数,而是一套区分层级的测量习惯。分别观察局部耗时、有效成果吞吐和最终能力变化,明确归因假设,并让验收随版本推进。AI 可以让更多事情更快发生;团队是否因此获得更多可靠进展,要由完整链路的证据回答。
评论
暂无评论。