我们不能被硅谷“AI刹车论”吓住-底线思维 长征体验

【文/底线思维】。OpenAI首席科学家Jakub Pachocki最近写了一篇文章，题目叫《An Alien Mind》（异星心智）， 昨天评论部“世界科先声”栏目对文章做了全文翻译。所以更准确的表述应该是，我们目前还没有一个成熟的泛化理论。战略定力不是口号，具体含义是，别人喊停的时候，先分清楚他是真怕，还是想让你怕。不必去揣测Pachocki个人的动机。杰基尔从头到尾一个人在密室里做这件事，不告诉朋友，不告诉同行，日记锁在抽屉里。这是说，造物必反噬不是一条关于技术的客观规律，它是一个特定文明反复讲述的叙事习惯。人能真正认识的恰恰是人自己造出来的东西，因为原理就在人手里。国际协调是准入门槛，第三方审计是认证权，强制性安全标准是标准制定权。那个故事里真正致命的不是药水。先看最明显的一处。在这个位置上主张放慢，等于主张冻结当前的排序。真正的出路从来不是关掉实验室，是把门打开。Pachocki的文章里有一段自白，值得读第二遍。最后杰基尔失去全部主动权，只剩一条路，自我了断。西方对造物失控的恐惧，底层是对人自身之恶的恐惧的投射。那么按他自己的经验，减速会同时减掉安全的进展，这个矛盾全文没有处理。文章写得诚恳，姿态看起来也低，但只要把论证链条拆开来一看，露怯的地方就太多了。这是标准的军备竞赛论证，与全文呼吁的减速直接相抵了。建议作者读一下三百年前的康德哲学。这不是说中国人天生更乐观。是原罪。真正超出认识的是物自体，而物自体按定义不与我们发生经验关系，它既不可知，也不可能对我们做任何事。后来剂量要加大，再后来不用喝药，海德也会自行出现。偃师的应对不是自杀，是当场把木偶拆开，指给穆王看，不过是革、木、胶、漆。福克斯的评论员说得更直白，说这是有人要把社会主义政策带进AI这场新革命。可实际情况是，损失函数是人写的，数据是人筛的，优化器是人选的，算力预算是人批的，训练什么时候停、模型什么时候发布，全是人按的开关。文章说，继续快速训练更聪明模型的最强理由，是需要建立防御系统来对抗其他AI带来的危险。在这个意义上，中国这几年在开源模型上做的事，比任何一份对齐宣言都更接近让人类留在回路里这句话本身。原因有很多，模型的推理过程越来越多地和对话、工具调用混在一起；模型越来越擅长操纵自己的推理过程；预训练变强之后，模型不出声也能想得很好。几位共和党众议员联名致信联邦调查局，要求调查针对美国AI发展的外国影响行动，矛头指向境外亿万富翁、外国官媒和被认为亲华的资助网络。安全和对齐要做，要做得比别人扎实，但要做成能力，不要做成刹车片。我们不理解的是它中间的表示层，不是原理。科学家，自我实验，短期可控，临界点，彻底失控，唯一解法是毁灭。再看那几个关键词的产业翻译。但同一批民调显示，78%的哈里斯选民反对，63%的特朗普选民也反对。这套叙事对中国意味着什么。作为对照，历史上美国人反对本地建核电站的比例峰值也不过63%。你能理解你造出来的这个这研究员吗。可解释性、可审计、场景化的责任边界，这些工作做深了，是把议题的定义权拿在自己手里，而不是接受别人定好的门槛去应试。这套话语不是只停在论文里。这个决定的另一面是，从那天起，外界再也看不见模型在想什么。美国当下最难受的地方，恰恰是它自己的民意卡住了算力基础设施，电、地、水、变电站。有人怀疑木偶成精，就当场拆开给他看。这套恐惧到底是从哪里来的。康德在《纯粹理性批判》里做过一次著名的翻转，即哲学史上的认识论“哥白尼革命”：不是我们的认识去符合对象，而是对象必须符合我们的认识形式。但要注意，杰基尔故事有一个前提，海德本来就在杰基尔身上。虽然黄仁勋也未必完全能说服我们，但我们要承认，现实世界里，人类无法预测一场金融危机的完整因果链，但没人因此宣布市场经济已经脱离人类控制、需要全球协调关闭交易所。数学如此，法律如此，历史如此，深度学习也如此。社交平台的安全团队确实查出过一个来自中国的机器人账号农场，但在被点名的二十万个账号里，持续发布数据中心内容的只有两百个。然后他给出的应对是，造一个自动化的AI研究员，用它来迭代对齐问题。它至少说明，这篇文章开出的药方和它诊断出的病因是同一个东西。Pachocki那个在办公室度过的不眠之夜，读起来非常像杰基尔的日记。故事的解法是打开来看。这是一笔经验科学的欠账，需要更多的工作去还。一个既主张自己必须最快、又主张所有人应该变慢的论证，能落地的只有前半句。盖洛普今年3月的调查显示，七成美国人反对在自己所在地区建设支持AI的数据中心，其中48%强烈反对。这意味着，一个能对我们的世界产生实际作用的东西，不可能同时是我们原则上无法认识的东西。你都承认思维链监控不可靠了，请问你怎么造这个自动化的AI研究员。这个结构从中世纪的泥人传说，到弗兰肯斯坦，到杰基尔，再到天网，几乎没有变过。当验证只能在一间屋子里发生，任何关于风险的判断，外人都只能选择信或者不信。真正需要在哲学层面处理的，是“递归自我改进”将超出人类理解与控制这个命题。把技术叙事套进这个模子，就得到了硅谷现在的语言。这句话很有画面感，也容易被接受。《列子》里偃师给周穆王献了一个会唱会舞的木偶，木偶朝嫔妃抛媚眼，穆王大怒要杀他。这个“恐惧”心理的分配机制就显得很搞笑了，生产恐惧的人收获的是监管话语权和道德高地，承担代价的是被卡住的电网项目、被取消的投资、被迫在选票和产业之间选边的地方政客。这两件事之间隔着一整个哲学传统，不能一步跨过去。OpenAI的老板Altman也在社交媒体上转发了这个文章，所以霎时间成了行内热议的焦点文章之一。减速是不对称的。一个呼吁全世界共同减速的人，管理着一套外界无法验证的系统。这是一个彻底跨党派的本土议题，驱动它的是电费单、水和土地。2023年年中，RLSlow项目跑出第一批结果，他和同事在办公室待了一整夜。回到《化身博士》。不可解释，不等于不可控制。一个论述的产业后果并不取决于提出者是否真诚。它一旦调度算力、改写代码、发出指令、影响电网，就已经进入了因果范畴，已经是现象，已经在我们的认识形式之内。作者有没有想到过“杀毒软件是制造病毒的最佳嫌疑人”这个理论。恐惧已经下沉，账单落在别处。打开门，开源，可复现，多方可验证。即便他百分之百真诚，这套话语一旦被采纳，效果也是确定的。但补丁不解决结构问题。这个比喻一旦成立，模型行为的责任就有一部分被交还给了自然。文章承认，对齐研究的实际进展一直和通用能力的进展深度交织，并举了两个例子，人类反馈强化学习，以及思维链监控本身，后者是推理模型出现之后才成为可能的。这就是非对称刹车，同一个动作作用在不同的车上，结果完全相反。8月底，特朗普在社交媒体上写，反对数据中心的社区只会变得落后和贫穷。奇点是世俗版的末日审判，对齐是世俗版的救赎，而在实验室里最早看到曲线的人，就成了知道日期的先知。今年一季度，至少20个数据中心项目因公众反对被取消。于是出现了荒谬的一幕。中美在这一轮的竞争已经进入针尖对麦芒的阶段，这种阶段最容易犯的错误不是走错方向，是被对手的情绪带乱了步频。这是一个客观存在的窗口期，窗口不会一直开着。但它悄悄做了一次身份转换，把工程师说成了园丁。一开始很可控，海德召之即来挥之即去。杰基尔是个体面的医生，为了把人身上的善与恶分开，配了一副药水，在自己身上做实验。最要紧的一条，一定要保持节奏感。文章从一个夜晚讲起。机器智能主要靠算力堆出来，还在往上走；这东西是长出来的，不是设计出来的，内部机理看不懂，思维链监控的可靠性正在下降；还有，递归自我改进是当前路径的自然终点，所以需要极度谨慎，需要自愿减速，需要国际协调，需要强制性的安全门槛。他说那晚想的不是跑分和产品，而是在消化一个让人清醒的事实，有生之年真的会看到比自己更聪明的机器。他说o1-preview上线时，他们刻意把思维链隐藏起来，理由是保护它长期不受监督压力的污染。对齐还是不对齐。时空是感性直观的形式，因果、实体、必然性是知性的范畴。还有，不要把别人的焦虑当成自己的路标。用一个你承认自己看不懂的东西，去解决“看不懂它”这个问题，科学史上确有用尚未理解的工具去理解世界的先例。园丁对植物的生长只负有限责任，种子是自然的，天气是自然的，他只是浇水。它背后是一条更长的线索，创世、堕落、审判、救赎的线性时间观。可能意识到了，补了一句不能让这成为鲁莽的借口。笔者可以用中学时代少有的真正啃过的英文小说做一个类比，《化身博士》。不可知而又能作用于我们，这在先验哲学里是一个不成立的组合。Pachocki把这笔欠账换成了原则上不可认识这样一个形而上学断言。这套东西在半导体行业已经完整演过一遍，瓦森纳安排、实体清单、光刻机许可证。偃师的办法还是对的。所以对中国的政策制定者、投资人和产业界，有几件事值得说清楚。他的失控不来自配方，来自不透明。中国的传统里没有这条线。那么，一个受过严格训练的科学家，为什么会做出这样一次跳跃。三年后他写下这篇文章，核心有这么几层意思。这不是道德指控，是结构性问题。原文最有传播力的一句是，“AI是长出来的，多过是被设计出来的”。把一种文明的焦虑当成物理定律，再据此要求全世界减速，这一步应该被拒绝。对领先者，慢是保位；对追赶者，慢是永远追不上。这两件事发生在同一个国家的同一年，说明美国自己并没有就AI形成社会共识，反而让这个议题变成了党争的新裂口。Heatmap五月的调查是71%。Pachocki说，思维链监控是OpenAI最主要的赌注，但评估显示这个工具的可靠性在递减。任何东西要成为我们可经验的现象，必须先通过这道门。他从来不掩饰对“AI失控论”的鄙夷和不屑，经常用微波炉比喻AI工具的使用，他说微波炉和AI一样，不过就是在“processing data”（处理数据而已）。把前者说成后者，是这篇文章最关键的一次跳跃。Jakub Pachocki如果面对英伟达老板黄仁勋说这个理论，老黄很有可能直接对他爆粗口（他曾经对着问出AI-人类末日论的采访记者说“滚蛋”）。技术标准从来不是中性的，它是产业地位的法律化。1886年，英国小说家斯蒂文森写了《化身博士》。一头是实验室在生产末日叙事，一头是政治力量在指责这种恐惧是敌人灌输的。梯度下降不是种子发芽，是一个每一步都由人定义的确定性过程。呼吁减速的人，手里握着最大的算力存量、最深的资本池、最完整的软件生态。