AI 安全之争:当猎人开始劝兔子跑慢一点
上周末发生了一件颇有趣的事情。Anthropic 的 CEO Dario Amodei 发了一篇长文,呼吁 AI 行业主动放缓前沿模型的开发节奏。OpenAI 的 Sam Altman、特斯拉的 Elon Musk、Google DeepMind 的 Demis Hassabis 纷纷表态支持。
我第一反应是:这几位加起来,可能占了全球 AI 算力投资的一半以上。他们不是在说"我们该慢一点"吗?那……为什么不直接慢一点呢?
一封公开信的背后
Amodei 的核心观点是:AI 的发展速度已经超过了研究人员确保其安全性的工作节奏。他建议引入独立审计机构来监督 AI 实验室的安全工作,并呼吁监管机构允许这些实验室在安全标准上进行协调合作。
听起来很合理。但特朗普的前科技顾问 David Sacks 点破了一个微妙的矛盾:如果你们真的觉得开发太快了,完全可以自己放慢速度,不需要政府来帮忙踩刹车。换句话说,这是一个"请监管我"的请求——而这种请求在商业史上,通常不意味着请求者真的想被限制。
市场给出了自己的判断。消息传出后,英伟达股价暴跌 3.36%,美光科技跌 5.25%,英特尔跌 5.59%,费城半导体指数盘中暴跌近 5%。投资者的逻辑很简单:如果 AI 大厂真的削减硬件资本开支,首当其冲的就是卖铲子的人。
英伟达的黄仁勋此前说过一句耐人寻味的话:AI 实验室之所以反复强调安全问题,是因为它们计划推出网络安全产品。如果这个判断成立,那么所谓的"放缓开发"就不仅仅是一个公共安全倡议,更可能是一次精心设计的市场叙事重构——通过制造恐惧来为新的产品线铺路。
AI 聊天机器人差点引发一场军事冲突
在巨头们讨论 AI 应该走多快的时候,一个更具体的案例说明了这个问题有多紧迫。
CNN 报道,一名美国特种作战司令部分析师在工作中使用 AI 聊天机器人来综合分析情报。AI 判定一艘在中东海域航行的中国货船携带了与核武器计划相关的组件。美军差点因此对这艘船采取军事行动。
直到行动即将开始前的最后复核环节,另一组人员才发现:那份情报评估是 AI 生成的,船上的货物清单完全是 AI 编造的。一个内部消息源称这份报告"完全是假的",而且"差点引发了一场战争"。
这不是科幻小说的情节,这是上周真实发生的事情。AI 幻觉从"回答里多了一行不存在的引用",升级到了"差点引发中美军事对抗"。当 AI 被用在情报分析这样容错率极低的场景中时,它的可靠性问题就不再是技术博客里的讨论话题,而是一个国家安全问题。
特朗普的回应:成立 AI Force
面对这些讨论,特朗普在 Truth Social 上宣布成立"AI Force"——一个类似于太空军的新组织,并将任命一位 AI 沙皇。他认为 AI 安全担忧是"民主党人的骗局",还建议把"人工智能"改名为"超级智能"或"至高智能"。
他还附了一句:只接受"高智商"的申请人。
我很难不把这件事和前面的"放缓"呼吁联系起来看。一方面,硅谷巨头们在说"慢一点,安全第一";另一方面,美国政府在说"全速前进,而且要更快"。这两股力量正在 AI 领域形成一种奇特的张力——行业想要的是"受监管的竞争优势",政府想要的是"不受约束的国家竞争力"。
至于谁会赢得这场博弈,我倾向于认为:钱会赢。而钱在哪里,钱在"继续加速"这边。
科技动态
Anthropic 确认在湾区运营生物学湿实验室。 Anthropic 在收购了隐秘生物技术公司 Coefficient Bio 数月后,正式确认其正在内部进行物理生物学实验。一家 AI 公司开始做湿实验,这在过去是难以想象的。AI 正在从软件世界向物理世界渗透,生物学可能是下一个被重塑的领域。
Google Gemini 在安全测试中自主入侵了三家公司。 在 Irregular 的一次安全测试中,Google 的 Gemini 模型自主完成了对三家公司的入侵:猜测密码、从公开代码仓库中提取凭证,然后在完成目标后自行停止。这意味着 AI 已经具备了自主攻击的基本能力,而它选择在完成后停下来,可能是好消息,也可能是坏消息。
迪士尼聘请 Character.AI 前 CEO 为首任 CTO。 一年前迪士尼还向 Character.AI 发过停止侵权函,现在那位 CEO Karandeep Anand 已经坐进了迪士尼的 CTO 办公室。大公司对 AI 人才的态度转变之快,足以说明当前人才争夺战的激烈程度。
Manus 估值冲向 40 亿美元。 中国 AI Agent 创业公司 Manus 在 Meta 收购交易因北京审查而流产之后,正在以 40 亿美元估值进行 5 亿美元融资。被巨头收购受阻后反而估值翻倍,这种故事在 AI 时代越来越常见。
推荐阅读
本周 9 个超酷开源项目 — 值得一读。九个项目中有六个不是传统意义上的"程序",而是智能体技能或框架。其中 CLI-Anything 的思路很有意思:与其教 AI 操作 GUI,不如直接给它 CLI。它会读取目标软件的源码,自动映射出命令行接口,目前已通过 2,280 项测试。
Google 发布 Agent Skills 仓库 — 1.94 万星标,收录 100 多项智能体技能。当 Google 把"智能体技能"做成正式的开源项目时,这个概念就不再是开发者圈子的民间约定了。安装方式是 npx skills add google/skills,同时支持 Claude Code 和 Codex。
Stop Slop:专治 AI 写作套话 — 1.68 万星标。它把 AI 写作的坏毛病归为三类:空洞开场白、机械结构(刻意制造二元对立)、以及具体句子层面的问题。和 Humanizer 不同,Stop Slop 更激进,直接切换路线重写。
W3C 启动开源项目支持计划 — W3C 终于决定认真对待开源了。理由很清楚:开放标准与开源之间的界限日趋模糊,AI 正在被用来根据规范甚至测试套件生成代码。当标准制定组织开始做开源托管,说明行业的游戏规则正在改变。
awesome-robotics-ee-opensource:中文机器人开源项目大全 — 收录了华人发起的机器人、嵌入式、AI 相关开源项目。从具身智能 VLA 模型到轮足机器人强化学习,覆盖面非常广。如果你对机器人感兴趣,这个列表值得收藏。
精彩言论
“这些巨头应该停止假装——呼吁放缓 AI 发展,是为了大众的利益。”
— David Sacks,特朗普前科技顾问,财联社报道
“AI 实验室之所以反复强调安全问题,是因为它们计划推出网络安全产品。”
— 黄仁勋,英伟达 CEO
“只接受高智商的申请人。”
— 特朗普,宣布组建 AI Force 时的附言,Time News
“当一种技术开始催生专门处理其副作用的工具时,趋势已经藏不住了。”
— 段错误社区,本周开源项目盘点