ReSpark

人形机器人通用控制器系列，我们在专访Xue Bin(Jason) Peng：探索人形机器人全身运控的通用控制器，专访罗正宜：解密PHC——人形机器人通用控制器，以及2025年的Human Data系列总结篇：Human Data—The “Key” to Robot Data的一些列采访都有涉及。这期文章，我再次邀请到了罗正宜博士，来聊一聊在人形机器人全身运控领域家喻户晓的工作SONIC。罗正宜（Zhengyi Luo）是英伟达GEAR实验室的一名研究科学家，博士毕业于CMU，他的导师是 Kris Kitani 教授。在此之前，他于2019年在宾夕法尼亚大学获得了本科学位，并曾在 Kostas Daniilidis 教授的指导下开展研究工作。罗正宜博士的的研究兴趣主要集中在视觉、学习与机器人技术的交叉领域。主要研究方向包括人体姿态估计、人-物交互建模、人类运动建模等。1. Sonic的核心思想2. 模型方法介绍3. Sonic性能的特色4. Sonic训练数据的特色5. 关于Data Retargeting6. Retargeting最难的问题是什么？7. 人与物体交互的数据8. Sonic有哪些应用9. Sonic对不同型号机器人的适配性10. Sonic的开源状态11. 一些问题-retargeting vs SMPL-惯性动捕 vs VR-VLA-Controller-轮式双臂 vs 双足-跨embodiment的通用controller-大幅度强交互场景-通用和专用-进一步的算力和规模提升-多模态References：Sonic：nvlabs.github.io罗正宜社交媒体：X/Twitter: @zhengyiluoLinkedIn: Zhengyi (Zen) LuoWebsite: www.zhengyiluo.comGoogle Scholar: scholar.google.com小红书：正合时宜在小宇宙查看该单集文稿

关于Human Data，我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作，集锦可以参考总结篇：Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制，在进入2026年，随着EgoScale等工作发布，我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期，一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注，我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者，他在AI机器人领域有很多出色工作，尤其近两年在如何利用人类数据上有很多探索，比如EgoMimic，EgoBridge，InMimic，EMMA以及EgoScale。Danfei Xu是Georgia Tech的助理教授，同时也参与NVIDIA Research的部分研究工作。他的研究范围比较广，从较为传统的机器人问题，比如manipulation planning和motion planning，到一些较新的方向，例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题：机器人是否能够从人类数据中学习，以及能否从这些人类数据中提取出对机器人有用的知识。第一部分 为什么会关注Human Data1. 基于人类数据的分类第二部分 关于Human data的建模和采集2. 不同技术路线对应的人类数据？3. 如何获取多模态的人体数据？4. 视觉信息是否应该带深度？5. AI眼镜公司有机会替代Aria吗？6. 可穿戴眼镜普及的推动效果？7. 第一视角和第三视角哪种视角更有用？8. 第一视角的数据可以是RGB吗？9. 真正可以scale机器人的human data的收集方式10. 机器人数据的收集需要等穿戴设备先普及吗？11. 人体局部和全身数据怎么协同？12. 全身和局部数据采集能放在同一个设备里？第三部分 关于人类行为的建模13. 怎么对人类行为进行建模？14. 人类行为建模有哪些尝试？15. 怎么看真机数据采集？16. 近期的几个工作介绍17. human data使用的takeaways是什么？18.  怎么看现在操作上的sys2和sys1？19. 如何将System 2围绕长期目标实现？20. 世界模型会是System 2 的基础架构？第四部分 关于Human-robot transfer21. 怎么解决Human-robot transfer问题？22. 真正的通用机器人是否遥远？23. 通用机器人什么时候有雏形？在小宇宙查看该单集文稿

机器人数据的问题一直是具身智能最重要的话题，我们在之前有两个系列来探讨机器人数据2024年的EP10 Robot Data第一季访谈总结和2025年的总结篇：Human Data—The “Key” to Robot Data，最近趁着Spirit v1.5开源，我也和许久没有交流的高阳老师一起聊了聊数据的话题，关于机器人数据的训练，他有一个非常有趣的观点：抛弃大多数、甚至几乎所有用于保证“干净数据”的规则，只保留一条原则——做一些有用的事情。高阳现在是千寻智能的联合创始人，同时也是清华大学交叉信息研究院的助理教授。他本科毕业于清华大学计算机系，博士毕业于UC Berkeley。博士导师是Vision领域的大牛Trevor Darrell，读博期间和Sergey Levine合作开始强化学习方面的探索，博后跟随Pieter Abbeel做强化学习，合作的导师都是RL+Robotics这个领域的大牛。研究方向为计算机视觉和机器人的结合领域，教会机器人通过“看”去操纵周围的事物。我们之前有两期论文报道采访过高阳EP1对话高阳、汶川：如何利用互联网人类视频训练机器人大模型（ATM—RSS 2024满分论文）对话高阳：具身大模型框架ViLa+CoPa。1. 具身智能路线的共识与非共识3. Spirit v1.5的数据特色2. Spirit v1.5开源具身模型4. Spirit v1.5——Clean Data Is the Enemy of Great Robot Foundation Modelshttps://www.spirit-ai.com/en/blog/spirit-v1-5在小宇宙查看该单集文稿

Human Data系列最后一期访谈，重磅嘉宾——诺亦腾机器人创始人戴若犁博士。如果你是石麻笔记的铁粉，请一定听一听这期播客。1. 自我介绍2. 几个工作和诺亦腾机器人的关系3. 动捕设备科普4. 不同的动捕方案有什么区别5. 不同动捕方案如何选择6. 为什么选择诺亦腾机器人的设备和数据？7. 短期内诺亦腾机器人能给社区带来什么?8. 人才需求9. 业务合作Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。在小宇宙查看该单集文稿

熟悉石麻笔记的朋友们一定看过2023年的一篇文章AI+Robotics华人图谱。在 Human Data 系列的最后两期采访中，我非常荣幸地邀请到曾经出现在过这个图谱中的一位学者——韩磊博士进行深入对谈。韩磊博士目前担任诺亦腾机器人（Noitom Robotics）联合创始人兼首席科学家。此前，他在腾讯 Robotics X 实验室 工作六年，担任具身智能负责人兼首席研究科学家。在此之前，他曾在腾讯人工智能实验室（Tencent AI Lab） 担任高级研究科学家。在加入腾讯之前，韩磊曾任职于美国密西西比州立大学（Mississippi State University）基础科学系，担任助理研究教授（Assistant Research Professor）。他在北京大学获得博士学位，师从谢昆青教授，并先后在香港浸会大学（与张宇教授）和美国罗格斯大学（与张桐教授）从事博士后研究工作。他的研究兴趣在大规模统计机器学习、强化学习、优化、多任务学习以及它们在机器人学、游戏、自然语言处理、计算机视觉和生物信息学等领域的应用”在这次正式访谈之前，我曾经和韩磊博士多次请教过强化学习与机器人结合的一些问题，非常欣赏他对技术思考的深度以及广度。这次访谈，我和韩磊博士请教了关于以Human data为代表的机器人数据问题，以及目前机器人算法路径等问题，非常非常推荐你也一起听一听，或读一读。1. 自我介绍2. 怎么看强化学习近些年在各领域的发展3. 创业为什么会选择机器人数据？4. 如果视频数据有突破动捕数据还重要吗？5. 3D模态对视频数据的重要性6. 诺亦腾机器人给社区的贡献7. 动捕数据和方案对比8. 动捕+RL在解决操作任务上的机会Show Notes等博主有空再慢慢完善，详细可参考文字内容，公众号搜索石麻笔记（估计11月15日前后发布）。在小宇宙查看该单集文稿