AI 巨头为什么突然想"踩刹车"了?
过去一周,人工智能领域发生了一件很不寻常的事:几家投入数百亿美元、激烈争夺下一代 AI 优势的科技企业,其负责人开始公开讨论一个问题——人工智能的发展速度,是不是应该放慢一点?
提出这个观点的,是 Anthropic 的 CEO 达里奥·阿莫代伊(Dario Amodei)。上周六他发表了一篇文章,主张放慢人工智能的发展速度。紧接着,一位刚从 Anthropic 离职的研究员雅各布·考克森(Jacob Coxon)接受了 BBC 采访,说了更直接的话:“我相信,如果我们不放慢目前的发展步伐,我们很有可能在不久的将来全部丧命。”
这让我想起了一句话:造原子弹的人,往往是最害怕原子弹的人。
递归式自我改进:AI 在造更强的 AI
阿莫代伊特别关注一个趋势:人工智能正在越来越多地参与下一代人工智能的研发。这就是所谓的"递归式自我改进"——AI 帮人类写代码、优化模型、设计训练方案,然后产出更强的 AI,更强的 AI 再去改进下一代。
这个循环一旦转起来,能力增长的速度可能远超人类的理解和控制。用阿莫代伊的原话说,这意味着"考验我们作为一个物种的本质"。
Anthropic 的科学家埃文·胡宾格(Evan Hubinger)更直白地在 X 上表态:“我们确实真诚相信人工智能可能杀死所有人类!我个人认为未来十年内发生这种情况的机率超过 10%。”
你没看错,一个 AI 公司的核心研究员说,自家产品有十分之一的概率灭绝人类。这放在任何其他行业都是不可想象的。
真心话还是营销话?
当然,硅谷从来不缺阴谋论者。批评者指出,Anthropic 和 OpenAI 据报正准备进行有望创纪录的 IPO。在这个时间点抛出"AI 可能毁灭人类"的论调,怎么看都有点"我们做的东西太厉害了,厉害到自己都害怕"的意味。
投资公司 Altimeter Capital 的负责人直接说考克森的言论是"荒谬的夸大其词"。约会应用 Grindr 的 CEO 更不客气,称 Anthropic 内部存在一种"反文明世界观"。Hugging Face 的 CEO 则打了个比方:向一个 AI 研究员问 AI 灭绝风险,就像向你的空调维修工问气候变化一样——不是说完全没有道理,但比例要搞对。
这些反驳也有道理。当你喊"狼来了"的同时,手里的公司估值已经到了 9650 亿美元,那别人质疑你的动机就很正常。
真正的问题:谁来决定 AI 该跑多快?
我倒是觉得,争论"是真心还是营销"并不是最重要的。更有意思的问题是:当一项技术的发展速度快到连它的创造者都感到不安时,我们该怎么办?
历史上有过类似的时刻。核武器诞生后,科学家们发起了"帕格沃什运动",呼吁限制核扩散。基因编辑技术成熟后,科学家们主动呼吁暂停人类胚胎编辑。现在,轮到了 AI。
但 AI 和核武器有一个本质区别:核武器掌握在少数国家手里,可以谈条约;AI 的开发权分散在数百家公司和无数开源社区,而且它的经济利益巨大到没有任何一方愿意主动停下来。
特朗普的表态就很说明问题——他批评了"监管派散播消极论调",强调美国必须保持 AI 领先。这其实就是那个经典困境:大家都怕 AI 失控,但更怕自己减速而对手不减速。
所以,眼下真正发生的不是一场"停止人工智能"运动,而是一场围绕发展规则的重新谈判。过去几年,行业竞争的核心问题是"谁的模型更强";现在的核心问题正在变成"谁来决定 AI 应该发展多快,哪些风险必须禁止,谁来监督这些企业"。
作为程序员,我能感受到这种焦虑。我们用 AI 写代码、做设计、分析数据,它的能力每个月都在肉眼可见地增长。有时候打开一个新的模型,看着它流畅地完成我花一天都做不好的任务,内心确实会闪过一丝不安——不是对 AI 的恐惧,而是对变化速度的眩晕。
也许这就是我们这一代人的宿命:亲手造出了一样东西,然后不确定它会不会听话。
科技动态
国常会推进算力网建设。 9月11日,国务院常务会议研究算力网建设有关工作,强调算力网是人工智能发展的基础支撑。会议要求推进关键技术和装备研发,推动算电协同、算网融合,加强算力资源监测调度和骨干光纤网络建设,加快绿电直连等项目落地。简单说,国家要把算力当水电网一样来规划和建设了。这对国产算力芯片和云服务商来说,是长期利好。
智谱完成约50亿美元融资。 9月13日,智谱在港交所公告完成约50亿美元融资,配售价格每股714港元,较收盘价折让约10%。这是港股市场年内最大规模的 AI 融资之一。在 Anthropic 估值突破 9650 亿美元、OpenAI 更是天价的背景下,中国 AI 公司的融资能力也在快速追赶。
支付宝推出 AI 支付体系。 9月11日,支付宝宣布 AI 支付产品体系升级,推出 AI 钱包智能体,以及 Vibe Pay、Skill Pay、Machine Pay 三大能力,覆盖 AI 应用创造、Skill 变现和机器互联等场景。想象一下,未来的 AI Agent 不仅能帮你买东西,还能自己赚钱、自己付费调用其他服务。“机器经济"这个词正在从概念变成现实。
微软计划将算力扩大两倍。 微软正在推进数据中心扩张计划,目标是将算力扩大两倍,以缓解当前的算力短缺问题。与此同时,英伟达 CEO 黄仁勋回应了市场对其 5000 亿美元融资平台的"循环融资"质疑,强调在投资前会确认被投资方有真实合同和收入。AI 基础设施的军备竞赛还在加速。
文章与工具推荐
AI 为何突然出现"减速"呼声? — RFI 的深度报道,梳理了从 Anthropic CEO 到前员工的一系列警告,分析了 AI 减速呼声背后的技术逻辑和政治博弈。推荐阅读。
Anthropic 前雇员:同业"真诚恐惧"人类遭 AI 灭绝 — BBC 对 Jacob Coxon 的专访。27岁的英国研究员说,包括马斯克和阿尔特曼在内的 AI 领袖都曾表达过类似忧虑。文章也收录了批评者的声音,比较平衡。
AI 开源项目雷达 — 一个浏览器工具,可以直接查看 GitHub 上 AI 开源项目的趋势榜。对想跟踪 AI 开源生态的开发者来说很实用,不用自己翻 Trending 了。
GitHub 中文浏览器 — 用 Python + PyQt6 写的桌面应用,能把 GitHub 上的项目名、简介、README 一键翻译成中文。内置镜像加速,解决了直连不稳定的问题。适合英文阅读有门槛的开发者。
daily.dev — 一个开源的浏览器扩展,每次打开新标签页就会显示个性化的开发者资讯。已有40万用户,内容来自2000多个技术源。
PyTorch Conference China 2026 — PyTorch 大会刚在上海开完,阿里巴巴云、寒武纪、蚂蚁集团加入了 PyTorch 基金会。HuggingFace Kernels 项目也加入了 Helion 支持。