Discover张小珺Jùn|商业访谈录75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角
75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角

75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角

Update: 2024-09-181
Share

Description

<figure></figure>

上集节目,广密在OpenAI o1问世之前,准确地预言了代号为“Strawberry”(草莓)的项目走向,以及它背后暗示的AGI范式已经转移,强化学习开启了新赛道。

这集节目录制在o1问世之后,我第一时间和边塞科技创始人、清华叉院信息研究院助理教授,同时也是前OpenAI研究员的吴翼聊了聊。他的研究方向正是强化学习。吴翼从技术视角全方位地解读了o1模型,并且分享了只有内部视角才能看见的真实的OpenAI。

<figure></figure><figure></figure>
我们的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:)
<figure></figure>
  • 01:50 2019年在OpenAI做研究员
  • 03:04 那个年代所有PHD都希望去Google Brain和DeepMind
  • 03:46 OpenAI o1-preview初体验,很意外在用户使用端做这么大规模的推理
  • 07:20 pre-training(预训练)能挖的金矿越来越少,以强化学习为基础的post-training(后训练)是另一个大金矿,使迈向AGI的梯子多了几节
  • 09:00 o1-preview版本是GPT-3时刻,到没到ChatGPT时刻要看正式版本
  • 10:33 o1应该核心关注两个要点和背后的技术原理
  • 13:54 强化学习能否探索出Scaling Law有希望,但很复杂
  • 15:06 强化学习三要素:reward model+搜索和探索+prompt,每一块都很难
  • 16:42 2014年开始,UC Berkeley集体转向,押注强化学习
  • 19:36 RL算法的演进:从DQN(Deep Q-Network)到PPO(Proximal Policy Optimization)
  • 23:45 相信会带来通用能力而不是垂类能力提升
  • 24:47 长文本是实现AGI的第一步,推理能力是第二步
  • 29:57 通过o1-preview能反向复原哪些技术细节?
  • 34:00 reward model不太可能有一个单独的小组闭着眼睛训练,是耦合的
  • 38:30 思维链、安全、幻觉和算力
  • 41:25 为什么这么项目叫“Q*”?后来又叫“草莓”?梗都很有意思
  • 49:49 o1不代表垂直模型,依然相信会出现全能的大统一模型
  • 57:57 关于Scaling Law,2019年OpenAI内部讨论的细节
  • 01:00:26 2019年的OpenAI处于“闭着眼睛挖矿的状态”
  • 01:03:20 OpenAI当年如何做管理:搞大新闻、发博客,KPI是博客关注量
  • 01:10:28 2020年离开OpenAI后悔吗?
<figure></figure>

o1发布前的预言单集:AGI范式大转移:和广密预言草莓、OpenAI o1和self-play RL|全球大模型季报4

【更多信息】

联络我们:微博@张小珺-Benita,小红书@张小珺jùn

更多信息欢迎关注公众号:张小珺

<figure></figure>
Comments 
In Channel
loading
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角

75. 和OpenAI前研究员吴翼解读o1:吹响了开挖第二座金矿的号角