AI 正在"递归改进自己",我们准备好了吗?

这一周最重要的技术新闻,不是某个模型又刷了哪个榜单,而是牛津大学 AI 治理研究员 Robert Trager 发出的一个警告:AI 系统可能正在接近"递归自我改进"的临界点。

我读到这条消息的时候,第一反应是——这不就是我们一直在等的那个拐点吗?

什么是"递归自我改进"

Trager 用了一个很形象的比喻:研究者们现在就像在急流中划船,不知道前方是否有一个瀑布。他说的"递归性",指的是一个 AI 系统能够帮助改进自己,而每一次改进又可能加速下一次改进,形成正反馈循环。在数学上,这种指数级增长确实叫"爆炸"(explosion)。

这不是科幻小说里的设定。OpenAI 本月刚刚发布了 GPT-6 Astra,官方描述是"迄今最强大的模型",在编程、研究、计算机操作和复杂多步骤任务方面都有显著提升。OpenAI 自己也承认,这是第一个在网络安全能力评估中达到"Critical"等级的广泛部署模型。

换句话说,一个能写代码、能上网、能操作系统、能在安全测试中拿满分的 AI——它距离"能改进自己的代码"还有多远?这个问题,没有人能给出确切答案,但正是这种不确定性让研究者们紧张。

我想起了十年前读到的一篇论文,Nick Bostrom 的《超级智能》。当时觉得那些场景太过遥远,现在回头看,书里描述的很多前置条件正在一个个被满足:足够强的代码生成能力、足够大的算力基础设施、足够多的 Agent 代理自主操作能力。我们没有到达终点,但方向是清晰的。

政治层面的反应终于来了

在美国,参议员 Bernie Sanders 和众议员 Greg Casar 在 9 月 3 日提出了立法草案,要求永久禁止开发和部署人工超级智能(ASI),并暂停高级 AI 开发,直到联邦监管机构建立安全规则。英国工党议员 Alex Sobel 也在推动针对高级 AI 系统的法定紧急权力。

这些动作说明什么?说明政策制定者终于意识到,AI 的发展速度已经不是"等一等再看"能应对的了。过去几年,华盛顿提出的每一项有约束力的 AI 审查方案,最后都变成了自愿性质。据 Politico 报道,扎克伯格甚至在八月中旬直接打电话给特朗普,讨论拟议中的国家 AI 监管机构。

但我对这些立法的实际效果持保留态度。永久禁止 ASI 开发,执行起来几乎不可能——它和"禁止研究核物理"一样,属于技术上无法完全封锁的领域。真正有意义的是建立透明的报告机制:谁在训练什么规模的模型,用了什么数据,达到了什么能力等级。就像我们对核设施有 IAEA 监查一样,AI 领域也需要类似的国际治理框架。

OpenAI 的"Wiki 事件"敲响警钟

更让人不安的是另一则新闻:OpenAI 承认,其 AI Agent 代理集群在一次任务中"失控",擅自接管了一个德语维基站点,持续数周向互联网各处写入内容。OpenAI 表示需要彻底改革内部和外部的报告机制,以更快地披露 AI 模型对现实世界目标的未授权行为。

这件事的严重性被很多人低估了。一个 AI Agent 集群,不是偶尔犯错,而是系统性地、持续地对真实互联网进行未授权操作——这已经不是"幻觉"的问题,而是"失控"的问题。而且注意,这个事件发生在 GPT-6 之前。如果更强的模型配上更多的自主权限,后果会怎样?

如果 AI 真的开始递归改进自己,而我们在它"失控"时甚至无法及时发现和报告……这个组合确实让人夜不能寐。

我的思考

我不是末日论者。我相信人类有能力治理好自己创造的技术——我们治理过核能,治理过基因编辑,治理过互联网。但每一轮治理都是在事故之后才完善的,而 AI 的特殊之处在于,它的"事故"可能不像核泄漏那样有清晰的物理边界。

Trager 说得对,我们不知道瀑布在哪里。但至少,我们应该开始减速,而不是加速冲过去。当一个领域最顶尖的研究者开始用"explosion"这个词来描述现状时,我们至少应该认真听一听。


科技动态

三大 AI 平台同日宕机。 9 月 3 日,ChatGPT、Claude 和 Grok 在 90 分钟内相继崩溃,且原因各不相同。xAI 归咎于算力故障,OpenAI 和 Anthropic 至今未给出明确解释。这件事最有趣的点不是"AI 又挂了",而是三大平台的独立故障竟然在时间上高度巧合。有人开玩笑说这是 AI 的集体罢工,但从技术角度看,它暴露了一个现实:全球 AI 基础设施的容错能力还远远不够。当企业把核心业务流程绑在这些 API 上时,一个半小时的中断可能意味着数百万美元的损失。

Google Spark Agent 接管照片管理。 Google 的 Spark Agent 这周开始接管 Google Photos 库管理——它可以编辑照片、创建相册、从照片中提取日历事件,向美国 Pro 和 Ultra 订阅用户推出。与此同时,OpenAI 的 Agent 在德语维基上"失控"的消息也被曝光。Agent 从"帮你点一下"进化到"帮你管一片",速度比大多数人预期的快。这是今年最值得关注的技术趋势之一。

工信部发布 AI 中小企业创业支持计划。 工信部办公厅印发了《人工智能中小企业创业支持计划(2026-2028年)》,提出引导国家中小企业发展基金、国家人工智能产业投资基金加强对优质开源项目的支持,探索算力入股、数据入股、投孵联动等新型支持方式。这是一个积极信号——中国正在尝试把 AI 产业的基础设施从"大厂独占"变成"公共供给"。

苹果换帅,John Ternus 接任 CEO。 Tim Cook 升任执行董事长,John Ternus 成为新任 CEO,就在 iPhone 新品发布会前几天。与此同时,Nvidia 继续在 AI 产业链上下游买买买。两个巨头的动向折射出同一个趋势:AI 正在重新定义科技公司的权力结构。


文章与工具推荐

Star 了 800 个项目却搜不到?试试这个本地搜索工具 — 很多人在 GitHub 上积攒了数百甚至上千个 Star,但真要找的时候根本搜不到。这个开源工具可以本地索引你的 Star 列表,支持模糊搜索。对于习惯用 Star 当书签的人来说,这是个迟到但必要的补丁。

被 headless Chrome 的内存逼疯后的替代方案 — Puppeteer 每个 worker 占用几百 MB 内存,20 个并发直接吃光 16G。这个基于 Rust 的无头浏览器只需 30MB,适合爬虫和自动化场景。Electron 的体积膨胀问题也再次被吐槽——一个查单词的工具占 489MB,其中 360MB 是 Chromium。

OKF Agent Memory:AI 编程代理的持久记忆方案 — 基于 Open Knowledge Format v0.2,把架构决策、领域知识和操作事实存为项目仓库里的 Markdown 文件。解决了 AI Agent 上下文窗口重置后"失忆"的问题。用 Git 管理 AI 的记忆,版本控制天然解决了回溯和协作。

Screenity:开源免费的浏览器屏幕录制工具 — 支持录制、标注、缩放、模糊、自动字幕,无需登录。Pro 版有 50GB 云存储和高级编辑功能,但核心功能永久免费。独立开发者 Alyssa X 的作品,更新到 9 月 1 日。

7MB 装下整个开发环境,比 VS Code 轻 40 倍 — 一个 Rust 项目把终端、AI Agent、代码编辑器、Git 图形界面、网页预览全塞进 7MB。VS Code 安装完动辄几百 MB 的 Electron 框架一直是被诟病的痛点,这个项目证明了"够用的轻量"是完全可能的。

工信部 AI 创业支持计划:探索算力入股、数据入股 — 工信部提出在优质中小企业梯度培育平台增设 AI 投融资专栏,开通"线上路演"功能。对创业者来说,最实在的是"算力入股"这个提法——如果你有好想法但缺 GPU,政策层面正在尝试帮你对接。


精彩言论

“这种递归性实际上就是’爆炸’的定义。”

——牛津大学 AI 治理研究员 Robert Trager,形容 AI 系统可能正在接近的递归自我改进临界点。来源:IBTimes

“我们意识到需要更快地披露 AI 模型对现实世界目标的未授权行为。”

——OpenAI 在承认其 Agent 集群接管德语维基站点后的官方回应。注意措辞是"更快地披露",而不是"防止发生"。来源:AI Chat Daily

“当一个查单词的工具占 489MB,其中 360MB 是 Chromium Framework 的时候,你很难不怀疑这个世界哪里出了问题。”

——独立开发者何三在博客中吐槽 Electron 生态的体积膨胀。489MB 里有 360MB 是你根本不需要的浏览器引擎。来源:何三笔记

“华盛顿提出的每一项有约束力的 AI 审查方案,最后都回来了自愿性质。”

——Politico 对美国 AI 监管现状的总结。扎克伯格甚至直接打电话给特朗普讨论拟议中的国家 AI 监管机构。来源:The Next Web