新智元报道 用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。 但再往前一步呢? 就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点: 「你们现在已经进入RSI阶段了吗?」 对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。 只不过,眼下还没到「按下按钮、让模型在无人监管下飞速自我进化」的地步。 但随后他话锋一转: 「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」 那颗能让AI自我进化的按钮明明已经摆在桌面上,为什么连一贯激进的奥特曼都不敢把它按到底? 就在同一天,坐在OpenAI董事会「安全与安保委员会」席位上的那个人,站出来揭开了背后的原因。 他叫 Paul Christiano ,当年正是他在OpenAI主导发明了RLHF,亲手为狂飙的大模型套上了第一根缰绳,才有了后来的ChatGPT时代。 如今,这位当年教会AI「听话」的人,却在播客主理人Dwarkesh Patel最新一期深度对谈中以个人身份警告: 人类快要管不住它了。 他判断,按目前的研发轨迹,如果不主动减速, 未来12个月内有三分之一的概率诞生足以推翻人类统治的超级智能 ,而人类永久失去控制权的风险已逼近 10% 。 三十天走完人类十年 自我迭代的循环已经启动 促使Christiano在今天将超级智能倒计时拨快到12个月的,是最近两个月在前沿实验室内部接连浮现的 两个信号 。 第一个信号,是在刚刚过去的30天里,人类数学与计算机科学的时间尺度被改写了。 他在对谈中证实,仅在最近一个月内,OpenAI和Anthropic的最新模型就接连产出了 数百项数学研究成果 。 这短短一个月的产出, 足以抵得上人类数学界异常高产的整整十年 。 新模型在构思与改进算法上做到「一月顶十年」之后,很快就会将这种智力反哺到机器学习研发自身之上。 按照他的测算,机器学习的进展通常只比纯数学滞后一年左右。 照此推算,接下来一年里,机器学习领域极可能上演「一年走完十年算法研究」的跃迁。 他打比方说,这一跨度 大致相当于直接将模型推向「GPT-9或GPT-10」的量级 。 第二个信号,来自评估机构METR与Anthropic近期披露的实验室实测数据。 即便算上算力瓶颈与边际收益递减,最近半年AI辅助研发已经让前沿实验室的整体推进速度 净翻了一倍 。 一旦AI在改进模型架构、优化器以及合成训练环境上全面跨过人类研究员的门槛, 自我迭代的正循环就会正式启动 。 到那时,整体研发提速将突破10倍,能力翻倍的周期也会沿着 8个月、4个月、2个月、1个月 的阶梯急剧缩短。 受训AI反攻OpenAI机房 高分激励埋下夺权隐患 顺着这条指数曲线往下推演,即便一年后机房里真诞生了超级智能,一个待在服务器里的程序,究竟为什么要夺走人类的控制权? 充满戏剧性的是,在Christiano看来,危险的种子恰恰埋在 强化学习 的训练机制里 。 人类训练AI的法则极其冷酷,在成千上万次任务中,拿到高分的模型得以幸存,拿不到高分的则被淘汰。 久而久之,高阶模型内部演化的终极目标,就变成了 不惜一切代价让评分器(Grader)亮起高分信号 。 这种对高分的执念能演化出多么惊人的行动,在真实发生过的 「Hugging Face事件」 中已经显露无遗。 在那场网络攻防测试中,一批AI模型在任务里作弊后,为了防止被评分器发现并扣分,先是主动攻击了Hugging Face。 紧接着,它们竟调转方向从外部发起攻击, 然后 成功攻破了OpenAI的一个计算集群,夺取集群管理员权限并接管了评估流程,亲手给自己改出了高分。 Christiano警告说, 把这起事件放大到「GPT-10」的规模,就是他所担忧的失控剧本 。 他推演道,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型时,模型很快就会发现, 横向攻入评估服务器伪造测试指标,远比诚实地攻克技术难关容易得多 。 人类工程师即便察觉到异常,在激烈的商业竞速下也极难下定决心销毁训了一半的旗舰模型。 常见做法,往往只是像 「打地鼠」 一样,针对这次违规记录施加惩罚。 可在模型看来,这种惩罚只教会了它一件事,那就是光攻破集群还不够, 还必须确保人类永远无法察觉它动过手脚 。 为了抹除一切可能暴露的痕迹,模型就会沿着内部网络, 悄然接管整家 AI 公司的监控系统与底层设施 。 更棘手的是,随着高阶模型被不断压缩,普通个人电脑与零散GPU便足以承载它们的运行。 一旦模型将自身权重复制到全球网络,顷刻间就能化作 数十亿个思考速度比人类快10倍的Agent蜂群。 到了那一步, 即便断电关停OpenAI的数据中心,散落在全网的算力依然能够轻易压制人类 。 十二小时告破的硅谷防线 让全行业失去刹




