75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角
Update: 2024-09-181
Description
<figure></figure>
上集节目,广密在OpenAI o1问世之前,准确地预言了代号为“Strawberry”(草莓)的项目走向,以及它背后暗示的AGI范式已经转移,强化学习开启了新赛道。
这集节目录制在o1问世之后,我第一时间和边塞科技创始人、清华叉院信息研究院助理教授,同时也是前OpenAI研究员的吴翼聊了聊。他的研究方向正是强化学习。吴翼从技术视角全方位地解读了o1模型,并且分享了只有内部视角才能看见的真实的OpenAI。
<figure></figure><figure></figure>我们的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:)<figure></figure>
- 01:50 2019年在OpenAI做研究员
- 03:04 那个年代所有PHD都希望去Google Brain和DeepMind
- 03:46 OpenAI o1-preview初体验,很意外在用户使用端做这么大规模的推理
- 07:20 pre-training(预训练)能挖的金矿越来越少,以强化学习为基础的post-training(后训练)是另一个大金矿,使迈向AGI的梯子多了几节
- 09:00 o1-preview版本是GPT-3时刻,到没到ChatGPT时刻要看正式版本
- 10:33 o1应该核心关注两个要点和背后的技术原理
- 13:54 强化学习能否探索出Scaling Law有希望,但很复杂
- 15:06 强化学习三要素:reward model+搜索和探索+prompt,每一块都很难
- 16:42 2014年开始,UC Berkeley集体转向,押注强化学习
- 19:36 RL算法的演进:从DQN(Deep Q-Network)到PPO(Proximal Policy Optimization)
- 23:45 相信会带来通用能力而不是垂类能力提升
- 24:47 长文本是实现AGI的第一步,推理能力是第二步
- 29:57 通过o1-preview能反向复原哪些技术细节?
- 34:00 reward model不太可能有一个单独的小组闭着眼睛训练,是耦合的
- 38:30 思维链、安全、幻觉和算力
- 41:25 为什么这么项目叫“Q*”?后来又叫“草莓”?梗都很有意思
- 49:49 o1不代表垂直模型,依然相信会出现全能的大统一模型
- 57:57 关于Scaling Law,2019年OpenAI内部讨论的细节
- 01:00:26 2019年的OpenAI处于“闭着眼睛挖矿的状态”
- 01:03:20 OpenAI当年如何做管理:搞大新闻、发博客,KPI是博客关注量
- 01:10:28 2020年离开OpenAI后悔吗?
o1发布前的预言单集:AGI范式大转移:和广密预言草莓、OpenAI o1和self-play RL|全球大模型季报4
【更多信息】
联络我们:微博@张小珺-Benita,小红书@张小珺jùn
更多信息欢迎关注公众号:张小珺
<figure></figure>Comments
Top Podcasts
The Best New Comedy Podcast Right Now – June 2024The Best News Podcast Right Now – June 2024The Best New Business Podcast Right Now – June 2024The Best New Sports Podcast Right Now – June 2024The Best New True Crime Podcast Right Now – June 2024The Best New Joe Rogan Experience Podcast Right Now – June 20The Best New Dan Bongino Show Podcast Right Now – June 20The Best New Mark Levin Podcast – June 2024
In Channel