聊到生成式AI的发展，开源绝对是最关键的话题之一。这次的嘉宾，可以说涵盖了大模型开源领域最值得关注的公司：从顶流社区Huggingface, 到全球开源社区都关注的阿里通义千问 Qwen 大模型，堪称行业标准的 LLM 推理框架 vLLM, 还有最近最火的软件开发 agent 项目 OpenDevin. 真的是黄金阵容！

这一期节目也发布得很应景：就在今天凌晨，阿里发布了最新的通义千问 Qwen 系列模型！Qwen2-72B 的表现甚至全面超过 SOTA 的 Llama 3，大家赶紧去关注！

首先跟大家汇报一下，上周日我们在北京举办的 OnBoard! 第一次线下听友会真是超预期！开放报名4天就250多人报名，周日从上午9点到下午3点，从机器人到AI，创业投资和软件出海，100人的场地，直到最后都几乎座无虚席！真的是非常感谢大家的支持~我们正在努力整理精华文字稿，也请期待我们更多活动！

Hello World, who is OnBoard!?

回到这一期播客，我们将深入探讨大模型的开源生态。

在生成式AI飞速发展的一年多时间里，开源无疑是一个不可忽视的话题。开源模型的迅猛发展，从 Meta 的 Llama 3 到 Mistral 的最新模型，它们对闭源大模型如 GPT4 的追赶，不仅令人惊艳，更加速了 AI 场景下产品的实际应用。而围绕大模型的生态系统，从推理加速到开发工具，再到智能代理，技术栈的丰富程度，虽然已经孕育出了像 Langchain 这样的领军企业，但这一切似乎只是冰山一角。

特别值得一提的是，随着阿里千问系列、Deepseek、以及 Yi 等中国团队主导的模型在国际舞台上崭露头角，我们不禁思考，除了模仿和追赶，中国在大模型领域的发展是否还有更多值得我们关注和自豪的成就。

今天，Monica 有幸邀请到了几位极具代表性的重磅嘉宾，来自 Huggingface 的开源老兵，有通义千问 Qwen 的开源负责人（他也是 Agent 领域最受关注的项目 OpenDevin 核心成员），还有最具国际影响力的开源项目 vLLM 主导人。真是涵盖了大模型开源生态的各个领域的最一线视角！

嘉宾们都太宝藏了，我们的话题延伸到大模型的各个方面，录了近4个小时！我们前半部分聊了很多infra的创新，以及最近很火的、以OpenDevin 为代表的软件开发agent 背后的技术和生态等话题。下半部分，我们回到大模型开源的主题，畅谈了：

• 底层基础大模型的开源闭源生态，未来可能有怎样的演进？
• 开源模型商业化跟过去我们在大数据时代看到的databricks 之类开源商业模式有哪些异同？
• 如何做一个有国际影响力的开源项目？

还有数据、评测等等大模型领域的核心话题，真的非常全面，又不失一线从业者的深度。

索性就不分成两部分了，大家可以对着 show notes 里面的时间戳，直接跳转到你感兴趣的话题（虽然我觉得每个话题都很好！）

介绍了这么多，还要声明一下，节目里面重点聊到的开源社区 Huggingface，还有几个开源的项目，包括阿里千问、OpenDevin, Deepseek, 零一万物的 Yi，vLLM 等，都没有收取任何广告，完全是嘉宾走心分享，全程无广！当然，如果你们或者其他AI公司考虑赞助一下我们用爱发电的播客，我们当然也是欢迎的！

三小时硬核马拉松开始，enjoy!

嘉宾介绍

• Tiezhen Wang, Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。
• Junyang Lin, 通义千问开源负责人，作为 Qwen 在全球开源社区的主要代言人，他不仅见证了开源的发展历程，还是目前备受瞩目的 Agent 开源项目 OpenDevin 的核心团队成员。
• 李卓翰，UC Berkeley PhD，他所主导的项目更是大名鼎鼎，就是已经成为行业标准的大模型推理框架 vLLM！他所在的 Sky Lab 被誉为开源基础设施的摇篮，从估值百亿美元的 Databricks 到 Anyscale（开源计算框架 Ray 的商业化公司）。他还深度参与了 Chat Arena, Vicuna 等多个国际知名开源项目，对大模型周边生态和 infra 的不仅有国际一线经验，更是有很多有技术理想的干货！
• OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

05:28 嘉宾自我介绍，有意思的开源 AI 项目

18:37 vLLM 如何开始的，如何成为全球顶尖项目，为什么我们需要一个大模型推理框架？

30:24 Agent framework: OpenDevin 这样的负责 agent 会带来怎样的推理挑战？

40:37 做好一个编程 Agent，还需要哪些新的工具？多模态会带来怎样的变化？

56:16 我们需要怎样的 Agent Framework？为什么最适合开源社区来做？Framework 会收敛吗？

67:46 什么是 Crew AI? 如何看待 Multi-agent 架构？

73:11 借鉴前端框架的发展历史，如何理解一个框架如何成为行业标准？

77:54 Huggingface 上开源LLM现状，过去一年多有哪些重要进展？有哪些不同的开源方式？泽娜要给你看待一个开源模型的流行程度？

94:27 如何理解不同架构的开源大模型生态？Qwen 如何通过架构演进打造更好的开源生态？

104:59  中国的大模型开源项目有哪些创新？大模型架构有哪些变化？

112:17 为什么说新的模型架构可能会带来商业化的新机会？我们能从以前的开源商业化中学到什么？

119:22 我们看到现有大模型架构的天花板了吗？什么是一个新的架构？

128:03 Zhuohan 从参与最早的开源 LLM 之一 Vicuna 的经历学到什么？学术界和业界在大模型生态上如何分工？

140:48 用于大模型的数据集领域有哪些值得关注的进展？

149:42 Mistral 为什么这么快爆火？打造一流国际开源项目有什么可借鉴的经验？vLLM 有什么道和术上的心得？

166:13 Chatbot Arena 是如何开始的？为什么模型的评测那么重要？还有哪些挑战和可能的进展？

180:49 Zhuohan 对于 vLLM 商业化方式有什么思考？未来推理成本还有哪些下降空间？

188:17 快问快答：过去一年生成式AI发展有什么超出预期和不及预期的地方？未来还有什么值得期待？

我们提到的公司和重点名词

• Qwen, Qwen-2
• OpenDevin: opendevin.github.io
• vLLM: github.com
• Yi (Github), 零一万物
• Chatbot Arena: huggingface.co
• AutoGPT: github.com
• crew AI: www.crewai.com
• autoAWQ: github.com
• LLM.c: github.com
• Flash attention: github.com
• Continuous batching：一种数据处理技术，用于将连续的数据流分批处理，以提高效率和可扩展性。
• KV cache：键值对缓存，一种存储结构，通过键快速访问数据值，常用于提高数据检索速度。
• Page attention：页面注意力机制，一种在处理长文本时，使模型集中注意力于当前页面或段落的技术。
• Quantization：量化，将数据表示的精度降低到更少的比特数，以减少模型大小和提高计算效率。
• Direct Preference Optimization (DPO): Your Language Model is Secretly a Reward Model
• Google Gemini: deepmind.google
• Adept: www.adept.ai
• MetaGPT: github.com
• Dolphinan open-source and uncensored, and commercially licensed dataset and series of instruct-tuned language models based on Microsoft's Orca paper
• Common crawl: commoncrawl.org

参考文章

• Tiezhen 的报告：Booming Open Source Chinese-Speaking LLMs: A Closer Look, Slides
• 通义千问一周年，开源狂飙路上的抉择与思考｜魔搭深度访谈
• 阿里林俊旸：大模型对很多人来说不够用，打造多模态Agent是关键 | 中国AIGC产业峰会

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。

最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！