21CTO导读：Anthropic 的人类研究员Jacob Coxon近期辞职，他表示担心人工智能最终会失控； 其后公司负责超级对齐研究的主管则罕有地表示，他个人估算本年代内人类被AI 灭绝的机率超过一成。

Coxon 炮轰AI 军备赛后离开Anthropic

年纪仅27 岁的Coxon，已经先后在OpenAI和Anthropic 投入三年时间研究大模型的预训练。 

他于今日（9月9号）清晨在X 上发文宣布辞职， 直指两家公司都未有负责任行事，却一味竞赛式冲向可自我提升的超级智能，等于拿全人类性命来豪赌。 

其相关贴文的浏览量已突破7,600 万，且还在不断上升。

他其后在媒体访问中再度示警， 指最激进的发展路径现已成为主流预设情景，情况最快或将在2027年年底前完全失控。 

他透露，身边同事现在时常以「crunchtime」（最后死线）及「endgame」（终局）来形容行业走势。

Coxon 本科修读数学，其后转投大模型训练工作，今年初由OpenAI 跳槽至Anthropic， 正是看中后者标榜「安全优先」的形象。 他说，一旦实验室之间互相竞争，安全上的取舍就会变得不可避免。 他现时的观点是：没有政府强力介入或整个产业协调式放缓，任何公司都不可能在真正负责任的情况下，单凭自身就打造出具人类水平的AI。

Evan Hubinger：人类灭绝风险逾一成

Anthropic 人工智能对齐学科负责人、同时主导模型压力测试的Evan Hubinger随后公开回应， 指Coxon 对现况的描述「是对的」。 

他在受访时估算，未来十年内人工智能把人类「全部杀死」的机率，个人认为超过10%。

Hubinger 表示，公司已尽力而为，但现阶段并没有一套可行方案去解决超级智能的对齐问题， 亦看不到正走在一条必然通向解决方案的路径上。 他后来补充，现时世代的模型本身风险属低水平， 真正值得忧虑的是，若未来出现透过「递回自我改进」而诞生的超级智能——即AI 自行训练下一代更强AI——风险将会急剧放大。

需要留意的是，以上估算属Hubinger 个人判断，并非Anthropic 的官方预测。 这类数字本身，亦建立在对未来AI 能力及部署方式一系列高度争议的假设之上。

 Anthropic 过去公开表示，递回自我提升并非必然会出现， 但一旦来临，很可能快过各国制度与监管的准备速度，大幅推高人类丧失控制权的机会。

全网激烈论战：是危言耸听，还是被忽视的真实隐患？

这份近乎“叫停AI行业”的激进呼吁，迅速引爆Hacker News、X平台，全网观点彻底两极分化，形成激烈对峙的舆论论战。

质疑一派这样说：末日论调过度夸张，风险论调言过其实。

大量网友认为Coxon的警示过于悲观、脱离现实。人类社会长久以来始终面临核武器威胁、全球变暖、地缘战争、贫富差距等顶级生存风险，AI并非独一无二的致命隐患。归根结底，AI只是技术工具，技术本身无善恶，真正的风险根源永远是人类自身。

还有不少行业从业者表示，冲刺AGI、迭代超级智能依旧是当下最优选择。多数AI风险警示只是从业者故作姿态、博取关注。人类曾成功管控核武器这类高危技术，同样有能力约束AI发展，且AGI落地后能带来的科技、民生价值远超潜在风险，值得冒险探索。

同时，一个尖锐的质疑直指Coxon本人：既然坚信AI发展已经偏离正轨、暗藏灭世风险，为何选择离职逃避，而非坚守岗位、推动团队和行业改变？身处核心研发体系，明明拥有影响技术路线的话语权，离开是主动放弃抗争。

另一边支持一派这样道：离职发声是最最勇敢的行业警示。

另外一群网友、开发者为Coxon发声辩护。在众人看来，当一名核心研究者判定自身从事的工作，已经越过人类安全的红线、突破内心底线，主动离职本身就是最坚定的反抗——不再为高危技术迭代贡献力量，拒绝参与这场危险豪赌。

更重要的是，他没有选择悄无声息离职，而是公开长文发声、引爆舆论，本质是向全球科技圈、公众和监管层敲响警钟，唤醒行业对AI安全的重视。

Anthropic 安全团队人手流失加剧

Coxon 并非首位离开Anthropic 的安全研究人员。 今年较早前曾主管公司防护（safeguards）团队的Mrinank Sharma亦已请辞， 临走时同样警告世界正处于危险边缘，并表示将远赴英国修读诗歌。

成立于2021 年、由前OpenAI 员工创立的Anthropic，一直以「安全研究优先」塑造品牌形象。 

不过，截至到现在，针对Coxon 的公开指控与辞职声明，Anthropic 仍未发表任何正式回应。

Coxon离职了，他将终极拷问抛给了所有仍坚守在AI研发一线的从业者，在人类尚未完全破解超级智能的运行逻辑、无法掌控其思维模式的前提下，贸然启动超级智能强化训练是否合理？

当全行业都在告诉你“AGI落地是必然趋势，早冲早赢”时，你是随波逐流、埋头内卷，还是敢于站出来叫停粗放研发、重塑行业规则与边界？

这道关乎人类未来的选择题，目前还没有出现标准答案。

作者：场长