最近6个月，以ChatGPT为代表的生成式AI技术出现了「寒武纪大爆发」。每天我们都能看到生成式AI涌现出新能力、新场景、新应用。作为一直研究和从事科技创新的创业者和投资人，我既感到非常兴奋，又和很多同行一样产生深深的担忧。

当一种新技术被创造出来的时候，其实被同时创造的还有相应的责任，但这种责任往往需要很长时间才会被人类所发现。历史教训告诉我们，在新技术造成大问题之前，人类世界往往是来不及去全面考虑新技术背后的责任的。

这期播客录制于2023年4月，我邀请了很活跃的青年AI学者符尧交流关于AI安全和对齐（Alignment）的一系列话题。在本期播客里，你将听到我们讨论什么是 AI alignment？目前主流的研究和进展是什么？大语言模型的能力不断增强，AI 的能力边界在哪里？面对动态变化的价值观，怎么 align AI？针对AI safety的研究有什么大框架？AI 是否具有意识？大模型方面中美的差距在哪里？

【主持人】戴雨森 真格基金管理合伙人

【嘉宾】符尧 青年AI研究员

【2:30 】2022年一整年，我追踪了GPT所有演化的版本

【3:49 】Alignment就是，希望AI符合人类的预期，符合人类的价值观

【5:42 】Open AI 在alignment上下了很多功夫

【9:49 】公开信真的能防“坏人”吗？

【16:49 】在很多维度上AI会比人类强很多，但也存在一些维度AI还无法拥有人类的能力

【21:46 】人类与人工智能的关系就好比教练与运动员

【26:26 】如何让AI向善：给AI文明

【36:10 】AI就像孩子能够迅速长大，alignment就像家长的管教，困难的同时又需要细水长流

【40:22 】AI是否具有意识？AI是否能够具备意识？

【43:36 】面对AI可能带来隐式的伤害我们应该怎么办？

【47:58 】很看好国内的选手做中国的Open AI和ChatGPT

【50:48 】做大模型的研究，并不需要很强的算力

【57:02 】现在对于AI的预期会不会过于乐观？

【1:00:30 】让更多非专业的人接触AI，是一件很好的事

【相关资料】

Our approach to alignment research

Recursively Summarizing Books with Human Feedback

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Specializing Smaller Language Models towards Multi-Step Reasoning

Improving alignment of dialogue agents via targeted human judgements

Constitutional AI: Harmlessness from AI Feedback

Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned

A Mathematical Framework for Transformer Circuits

【联系我们】

公众号：真格基金（ID: zhenfund）

收听渠道：小宇宙｜Apple Podcast｜喜马拉雅

邮箱：yusen_dai@zhenfund.com

如对节目有任何的建议与期待，也欢迎大家在留言中互动～