
structure|1️⃣ 三级笔记、思想框架
《姚顺宇访谈:允许研究者小疯一下》
核心观点/主旨
这篇访谈以姚顺宇从理论物理转向 Anthropic、Google DeepMind 的经历为主线,呈现了一套关于 AI 研究的判断:AI 更像早期物理或热力学,经验规律、实验验证和工程组织暂时比完备理论更重要;研究者应选择有客观评价标准、能产生真实影响的事情;AI 行业已经进入集体主义和工程化阶段,个人英雄叙事不再是关键,真正稀缺的是靠谱、细致、负责,以及能和 AI 形成真实协作的人。
一、访谈对象:两个姚顺宇/雨之间的区分
- 硅谷 AI 圈有两位 Yao Shunyu:姚顺雨长期做 CS,后来从 OpenAI 去腾讯;姚顺宇则是物理半道转 AI,从 Anthropic 去 Google DeepMind。
- 姚顺宇本科在清华读物理,博士在斯坦福做理论高能物理,短暂到伯克利做 postdoc 后离开学术界,加入 Anthropic。
- 他对自己的描述不是“英雄式研究者”,而是一个不断挑战自己不会的事情的人;他更强调自己很幸运,在关键项目出现时加入并做了一些事。
- 他和姚顺雨大学同届、关系熟,但兴趣和路径不同:姚顺雨更关注人和 AI 的交互、产品等问题,姚顺宇从他身上学习到与自己不同的视角。
二、从物理到 AI:选择客观评价和真实影响
2.1 物理训练带来的东西
- 本科物理给他的第一层训练是“想问题要想清楚”:读书不在多,而在读得深;真正有价值的是对一件事形成不同于他人的见解。
- 第二层训练是“不太相信纯理论”:当数值和理论对不上时,才会逼迫研究者仔细理解问题。
- 他认为物理到 AI 的硬技能迁移很少,但做物理的人容易形成系统性、刨根问底和重视验证的性格。
2.2 高能物理的教训
- 博士阶段做高能理论让他成长很多,但他认为对世界几乎没有产生影响。
- 高能理论足够难,但实验跟不上,客观评价标准不足,领域判断会依赖小圈子或资深人物的主观标准。
- 他从中得到的教训是:要做有客观评价标准、能够对世界产生影响的事情。
- 他发现自己可以达到外部标准,却无法欺骗自己认可那个标准;这成为他离开纯理论研究的重要原因。
2.3 AI 为什么成为更合适的方向
- 他曾在量子计算和 AI 之间比较。量子计算的瓶颈更多在实验实现,而不是他熟悉的理论或数值验证。
- AI 对他更像物理:有一个想法,可以用数值方式验证;在 AI 里,这个数值实验可能就是训练一个模型。
- 他把 AI 类比为更早期的物理:理论和实验还没有严格分家,研究者既做实验,也做理论推测。
三、如何理解 AI:黑盒、Scaling Law 和“智能涌现”
3.1 黑盒是相对概念
- 姚顺宇认为所有系统在某个层面都是黑盒。物理理论也只是在特定能标下描述行为,并不意味着知道最微观动力学。
- 语言模型确实没有被理解到神经科学手术刀的粒度,无法在实用大模型里明确解释某个行为由哪个人工神经元激发产生。
- 但这不代表完全没有理解。Scaling Law 描述了模型随规模和数据量变化,在 perplexity 等指标上的规律性变化。
3.2 Scaling Law 是经验规律,也可能通向科学规律
- 他把 Scaling Law 放在经验规律的位置:目前经验性很强,但经验规律和科学规律之间并没有绝对清晰的界线。
- 热力学定律最初也是经验规律,后来随着微观机制被理解,才逐渐被纳入科学规律。
- 因此,Scaling Law 未来是否会被理解为更深层科学规律,取决于人们能否进一步理解其微观过程。
3.3 “智能涌现”不是好的科学表达
- 他认为“智能涌现”这个说法本身不太科学,因为每个人对智能和涌现的定义不同。
- 所谓从只能做翻译、分析到好像能做所有事,更像是一种主观感受,而不是可清晰定义的客观现象。
- 更本质的是“技术上的涌现”:研究者发现了如何进行大规模训练,从而水平提升多种能力。
- 对他来说,真正良好定义的问题是:有没有一个技术改变,使得模型可以 scale up,并水平提升所有能力。
四、Anthropic 经历:小团队、强化学习和执行力
- 姚顺宇进入 Anthropic 的契机来自前同事和物理背景连接。当时 Anthropic 有不少理论物理出身的人,这更多是 connection 的延续,而不是某种必然的人才公式。
- 他加入时对工业级语言模型训练了解不深,只知道 pre-train、post-train 的大致流程;但大规模强化学习的不确定性让他觉得这是一个好机会。
- 他选择了强化学习方向,加入 Horizon 相关团队。这个团队覆盖强化学习的多方面,包括数据、环境、infra、研究和算法。
- 他对 Anthropic 的核心印象是执行力强、top down、员工氛围好,做语言模型相关工作时可以接触训练的方方面面。
- Anthropic 对 coding 的 bet 来自市场和技术信号:Claude 3 发布后,外部发现其代码能力强于 GPT-4,组织很快对这个信号做出反馈。
- 他强调,技术细节不能透露;但从组织层面看,Anthropic 的强处是识别合理信号后迅速铺上资源,没有大组织的冗余。
五、Google / Gemini:技术储备、组织清晰和产品分发
5.1 选择 Gemini 的原因
- 姚顺宇去 Gemini 不是因为看到 Gemini 2.5,而是因为他知道 Gemini 的工程师非常强,自己可以从中学到很多。
- 他当时没有选择 OpenAI,主要原因是对文化有担心;他觉得踏实做事的人在 Gemini 和 Anthropic 中更多。
5.2 Gemini 的转折
- 他把 Gemini 的重要转折归结为两个事件连在一起:Nano Banana 和 Gemini 3。
- Nano Banana 带来大量下载和市场声量,Gemini 3 随后承接并留下用户,使 Gemini 从低市占率位置变成重要玩家。
- 从事后归因看,这两个因素共同促成 Gemini 对 OpenAI 的冲击。
5.3 Google 的组织与技术优势
- 他认为 Google 的技术储备一直足够,变化在于组织逐渐清晰,有更好的框架让大家一起做事。
- OpenAI 先把聊天机器人做出来,让 Google 意识到搜索可能被威胁,但 OpenAI 又没有把 search 彻底吃掉,给了 Google 反击空间。
- Google 传统上擅长极简产品形态下的技术竞争:大家都长得像一个框、一个键,它通过速度、准确度和工程能力胜出。
- 对 Gemini 来说,预训练已经进入 Google 的舒适区:目标清楚、负责人清楚、节点清楚、评估框架清楚,更像一个大工程项目。
- 后训练仍然有更多不确定性,因此更 bottom up,允许更广泛地试。
六、AI 产品形态:chatbot、search 和 super app 的不确定性
- 他认为 chatbot 不会完全吃掉搜索,因为聊天机器人有强交互性,适合浓缩复杂信息和连续追问,但不适合所有简单意图。
- 搜索仍然覆盖大量极简单场景,例如直接搜一个商品、链接或事实,不需要进入聊天对话。
- 他对“聊天机器人就是 super app”这个前提保持怀疑:如果未来出现完全不同的 AI 交互形态,当前 chatbot 功能可能只是新形态的子集。
- 他承认自己也没想明白未来更好的交互形态是什么;如果想明白,就会去做。
七、AI 行业的人才观:个人英雄主义之后,稀缺的是靠谱
7.1 个人英雄主义已经过去
- 姚顺宇不认同当下 AI 行业继续神话个人英雄。他认为现在更像集体主义故事,模型开发依赖组织、环境、工程链条和团队协作。
- 他不否认历史上存在英雄级人物或英雄集体,例如 Geoffrey Hinton、Transformer 团队;但当下模型大厂的工作已不是旧式个人天才叙事。
- 对 neo lab 趋势,他态度谨慎,认为绝大多数都会死,只有少数真正有好的人并能 deliver 新东西的团队可能成立。
7.2 “靠谱”比聪明更重要
- 他直白地说,AI 这件事并不太需要脑子,很多活本科生就能干;最重要的特质是靠谱、做事细、对自己做的事负责任。
- AI 研究员价格高,一部分来自稀缺:训练一个人需要环境,需要接触真实训练过程的机会;不是聪明就能学会。
- 他也认为对人的炒作有些过分,因为模型开发本质上是集体主义的事。
7.3 24 小时强化学习项目作为筛选方法
- 他曾设计过一个面试题:让候选人在 24 小时内从 0 到 1 完成一个强化学习项目,之后进行一小时讨论。
- 这个题在 AI 时代可行,因为 AI 可以帮助完成大量代码和实现;因此考察重点不再是手写代码能力。
- 真正要看的是候选人能否有效利用 AI,以及是否理解 AI 为自己做了什么。
- 如果全盘交给 AI,却没有试图理解,后续讨论会暴露出来;这体现了“是否和 AI 形成协作”,而不是把任务甩给 AI。
八、表达方式:直接、无负担、自洽
- 姚顺宇认为自己不是 AI 出身,反而没有导师、旧友和圈层负担,因此可以更直接表达观点。
- 他反感 vague 和 not even wrong 的说法,因为模糊命题可以在任何范式下事后套用,缺乏明确意义。
- 他把年长者分为两类:德高望重的人少指手画脚,愿意培养年轻人;“老登”则是不懂还爱指手画脚。
- 他认为做 AI 后更直接,一是没有束缚,二是这个领域有足够客观的评价标准。只要观点自洽,不是随意喷人,最终做得怎样有客观标准,大家会尊重。
九、未来重点:ML coding 与 long horizon
- 他认为纯语言模型已经不是蓝海,末班车已经发车,自己入行时接近末班车。
- 未来是否长期留在 Google,他没有给确定答案,只说仍会尝试挑战自己,寻找值得“折磨自己”的事。
- 当前最高优先级是和同事一起把 ML coding 和 long horizon 推进到比较稳定的状态。
- 在他心目中影响 AI 进程的论文包括 sequence to sequence 和 Scaling Law;前者是 feature engineering 时代语言模型的高峰,后者把体系化研究方式引入这个领域。
关键概念/术语
- 客观评价标准:姚顺宇选择研究方向时反复强调的标准,指结果能被比较、验证和评价,而不是主要依赖圈内主观判断。
- 数学自洽性:高能理论在缺乏实验验证时的一种进步依据,但它不足以完全替代客观评价。
- 黑盒:对系统理解程度的相对表述;物理和 AI 都有无法穷尽解释的底层层面。
- Scaling Law:目前仍偏经验的规律,用来描述模型规模、数据量与指标改善之间的关系。
- 智能涌现:姚顺宇认为这个词主观且不够科学;更准确的问题是技术变化是否允许 scale up 并水平提升能力。
- 技术上的涌现:通过大规模训练方法的突破,让多种能力同时变好,而不是某种神秘智能突然出现。
- top down / bottom up:Anthropic 更 top down、Google 的预训练也逐渐工程化和 top down;后训练仍更 bottom up。
- bet coding:Anthropic 在 Claude 3 之后识别并强化的方向,体现组织对市场信号和技术信号的快速响应。
- 集体主义:姚顺宇对当代 AI 模型开发的核心判断,反对把结果归因于单个英雄。
- 靠谱:他认为 AI 行业最重要的人才特质,包括做事细、负责、理解自己和 AI 协作产出的内容。
- long horizon:他当前重要 bet,指更长程任务能力,也是未来模型能力推进的关键方向之一。
concepts|2️⃣ 关键概念、概念网络
agentic reading|3️⃣ 费曼 x3