本期节目应嘉宾的要求，我们只发布了文字稿。带来的不便还请各位听众谅解。

嘉宾

tanloong

链接

• gh-133390: Support SQL keyword completion for sqlite3 CLI by tanloong · Pull Request #133393 · python/cpython


• SQLite Keywords


• QuantWiki - 中文量化百科


• 《阳光马达棒球场！》

文字稿

laike9m:
哈喽大家好，欢迎来到最新一期的《捕蛇者说》。我们今天请到了谭龙，然后让他来聊一聊给 CPython 做贡献的经历。谭龙其实最近给 CPython 提了一个 PR，然后也是他第一次给 CPython 做贡献。然后呢，这个贡献是给 SQLite 的那个命令行加了一些命令补全，就是可以补全 SQLite 的关键字。我们今天另外一位主播是 Manjusaka。

Manjusaka:
请叫我 Nadeshiko Manju，对吧？OK，大家好，好久不见，我又回来了。然后今天很高兴又来和 laike9m 进行搭档，来。

laike9m:
好，然后这是我们今天的嘉宾谭龙，你要不先简单介绍一下自己吧。

tanloong:
Hello，大家好，我叫谭龙，我是山东的。然后 18 年的时候是来青岛上大学，然后大学本科毕业之后就在这找工作了。我本科不是计算机的，毕业之后找工作也找了一些计算机相关的工作，也有一些其他方面的工作，中间也换了好几次工作。最近是刚刚入职一家新的公司，然后是做数据分析方面的工作。谢谢。

laike9m:
所以你说你本科不是学计算机，方便透露一下吗？你本科学的是什么？

tanloong:
我本科是英语的。

laike9m:
哦，这个跨度很大。

tanloong:
对，确实。其实我本科最开始填志愿的时候，我录取的专业也不是英语，是一个调剂的专业，叫生态学。然后我是大一下学期的时候想转专业，然后正好我们学校有转专业的政策，我就从高中学的那几门课里，我觉得英语我学得还可以，然后当时也比较喜欢，所以我就决定转英语了。直到后来快毕业的时候才有点接触到这个计算机方面的这个东西。

laike9m:
然后就发现自己还是更喜欢计算机一些。那所以你之后是进行一些自学吗？然后就去找工作还是？

tanloong:
对，基本上是自学。最开始接触计算机是大一的寒假，我们辅导员让学生回家的时候在假期要学点东西，然后开学让交学习笔记。我当时从一个中国大学 MOOC 上注册了一个账号，然后它弹出来的，第一个给我推荐的课程就是 Python。那我就学这个吧。所以当时我就学，就学了这个。当时学得很不明白，然后就把 PPT 跟着敲了一遍，但是也云里雾里的。直到后来后面的几个寒暑假才看了一些成体系的 Python 的入门的书，然后算是入门 Python 了。

laike9m:
所以换句话说就是你其实一开始学，你并不知道 Python 是干嘛的，就是并没有特别地抱着某种目的，比如说我就想找一个程序员的工作这样子。

tanloong:
没有，开始的原因只是巧合，但后面坚持下来，应该也算是因为比较喜欢吧。我觉得比较有意思。

laike9m:
那还是挺有意思的，对，感觉是命运的安排。

Manjusaka:
咱行看起来都是转行的。诶，那 laike9m 你是转行吗？

laike9m:
我本科也不是学计算机的，然后我知道你本科也不是，所以。

Manjusaka:
对，那看起来大家这三个人跟少女乐队一样，这三个人里面抽不出一张计算机本科学位。

laike9m:
对，但我觉得还是你的英语这个跨度最大。

Manjusaka:
啊，对，然后，哇，卧槽。啊，现在要是学日语的，我突然就想问一下为什么要学日语。

laike9m:
学日语的转计算机还真没见过，但是很多程序员都会日语。

Manjusaka:
有，可能在大连那边还真有。

laike9m:
啊，对，大连日本人比较多。

Manjusaka:
对，对，对，日语外包会多一些。

laike9m:
嗯，好，对，说回正题，就是你相当于一开始接触的编程语言就是 Python, 然后后来相当于你在工作中可以理解也是主要用 Python, 对吗？

tanloong:
对的，我有两份工作是跟计算机相关，然后都是写 Python 的。第一个工作是之前的一份是写图形界面的，用的是 PySide, 然后就写一个称重系统。他们是一个建桥公司，就是他们需要统计他们的货车送多少货进他们工厂，然后运多少货出来，写一个这个图形界面，然后放在那个他们的磅站去，然后货车过磅的时候来统计数据。另一个工作是现在的工作是在一个私募公司做数据分析。我之前没接触过股票证券这方面的东西，现在还在学习。

laike9m:
你是开发算法吗，还是给他们开发一些内部工具或者界面之类的？

tanloong:
内部工具，我们组三个人有写算法的，但是我是属于比较初级的那种，只能写一些帮他们节省时间的工具。

laike9m:
OK，对，因为我感觉那种像交易的算法可能更需要用 C++ 一些，对吧？还是说其实也有用 Python，比较好奇。

tanloong:
我们公司开发部应该是写 C++ 的，然后应该也有写 Python, 但是数据分析我们那个组主要是做一些因子的构建，就分析哪些因子它对你的这个股票的收益率贡献比较大，就这种的，我们就主要是写 Python，不写 C++。

laike9m:
明白，好的。所以就是到了今天我们要聊这个话题，然后你给 CPython 做了一个贡献。那我相信就是百分之可能 99.99% 的用过 Python 的人都没有给 Python 做过贡献，那么你一开始是怎么有这个想法的？然后就是后来你是怎么去一步一步实施这个的？

tanloong:
我最开始有这个想法是应该从天哥，就是 B 站的那个，对，他当时成为 Python Core Dev 之后，在直播的时候就有人在直播间问一个给 Python 做贡献的问题，做贡献难不难呢？这些之类的。但是天哥说，如果你想给 Python 做贡献，你是会发现有很多事可以做的，做贡献并不难。然后后来就是之前我在写称重系统的时候，需要用到 SQLite 去查用户存的那个本地的数据库。然后当时我就发现 Python 的 SQLite 的命令行界面有点不好使，就是如果它能有那个补全就好了，所以当时是有那个想法。然后实施是在后来我前段时间没有工作，然后就每天比较闲，然后我想找点事做，然后我想起来之前我想给那个 SQLite 的加补全的这个想法，我就试试吧。然后我就去 GitHub 上找，我就试了一下。然后试的时候我发现，我本来觉得这个应该是挺难的，因为我完全不知道它这个补全要怎么实现。但是我去看了一下 PDB，就是天哥维护的那个 PDB 里面的代码，它里面实现补全是那样写的，然后我就照着 PDB 的补全，然后给 SQLite 加了一个补全，然后就交了 PR。

laike9m:
所以其实也是从你的实际工作需求出发，然后加上高天的激励。对，你知道高天也来过我们这边好几次吧？

tanloong:
对，两次。

laike9m:
老听众，看来是。对，然后我觉得这个还挺有意思，就是也是算是榜样的力量吧。就是我不知道还有没有其他人是这样，就是因为听到就是有个人跟他说，哎，其实做贡献没有那么难，然后去做了，但这样挺好的。我算吧。你也算吗？

Manjusaka:
对，我算。当时我是先认识张翔老师，然后后面然后跟他聊了一些，就包括我可能当时，那位你可能还认识，那个 Ezio Melotti。谁？18 年北京的那位嘉宾，Ezio。

laike9m:
你说 PyCon。

Manjusaka:
对，就是当时我们不是邀请到另外一位来北京。

laike9m:
哦。PyCon China Beijing 2018。2018 吗？2018 我去了吗？我有点不记得了。没事你继续说吧。

Manjusaka:
你在北京，你当时还没 transfer 去美国，然后你从上海来北京。

laike9m:
OK。

Manjusaka:
然后我当时聊了一下，就后面开始，正好 18 年，后面我就说我正好在休息，后面就开始陆陆续续提一些贡献，对。

laike9m:
嗯，对对，其实我觉得翔哥一定程度上也是当时给了我一些激励或者指导嘛，对。

Manjusaka:
对，张翔老师还是非常 nice 的。

laike9m:
对，就给听众们如果有不知道，就是张翔是中国的第一个 CPython core developer, 第一个核心开发者，对，然后高天是第二个。

Manjusaka:
对，然后张翔老师应该是在 16 年晋升的。嗯，反正是老前辈了，老前辈了。

laike9m:
但其实他当时就是更多是因为工作中会需要改一些 CPython 代码，他当时在华为嘛，对吧？

Manjusaka:
然后。哦，不不不，他晋升成为 CPython Core 的时候，我记得没错，是在新浪，然后他就开始编的。

laike9m:
哦，新浪，OK。

Manjusaka:
对，然后他去华为其实做的也不是跟 CPython 本身相关的，他是去做的 OpenStack 相关的东西。对，然后他对就是说是整个生态工具链会比较熟，所以说他可能跟高天老师就是说是有一点不一样，是张翔老师对于各种非常疑难问题的 debug 非常擅长，这也是我记得介绍人给他在他的 promote 介绍里面说的，对。

laike9m:
嗯，我记得他当时那个演讲。

Manjusaka:
对对对，然后我的很多 debug 技巧也来自于张翔老师，对。

laike9m:
Anyway，我觉得后人都是在前人的一些基础上去做工作的。

Manjusaka:
是的，没错。

laike9m:
好，那说回谭龙的这个 PR，我其实也简单看了一下，其实我原来也不知道补全要怎么加，但发现其实还真的挺简单的。你可以跟听众们大概说一下这个流程吗？比如说我要给一个像 Python 的 SQLite 命令行加补全，它大概要做些什么工作？

tanloong:
它是写一个 context manager，然后在你进那个 readline 的时候，你把 readline 的那个 completor 给替换成你自己的函数，然后在退出的时候再把它替换回你替换之前的那个函数，就你替换之前的那种 readline 的默认的 completor。然后你自己写的那个函数是还有一个 state, 就是 readline 调你的函数拿补全的时候，它会先给你发一个 state 等于 0, 这个时候你判断了 state 等于 0 的时候，你去生成一个完整的，就根据用户当前输入的那个 text, 生成一个完整的 completion candidate 的列表。然后 readline 会继续给你发 state 等于 1, 2, 3，这个时候你把你之前生成的 candidates 按照它发的 state 做个 index, 返回你的 candidates 对应的要补全的词。然后这中间就是 state=0 的时候，你的 candidates 最好需要缓存一下，不要在每次 readline 给你发 state=1, 2, 3 的时候你再重新生成，那样会比较耗时间，注意一下性能的问题。然后基本就是这样。

laike9m:
OK，我说一下我看到的那个 PR 里面，我觉得比较关键的地方就是它其实就是一个首字母的匹配，就相当于首先你有一个关键词的列表，对吧？你要构建一个说哪些单词是 SQLite 关键词，比如说 SELECT 啊 JOIN 这种。然后我发现你是当用户每输入一个字符，然后你就会去跟这些关键词的前缀做一个匹配，对吧？然后发现如果有能 match 上的，你就把它作为一个 candidate 返回，作为补全的一个。

tanloong:
就其实那个关键字最开始的，你要拿到那个 SQLite 的完整的关键字的列表，当时对我来说还是挺难的。我最开始是从 SQLite 的文档里直接复制它的完整的所有的 147 个关键字，然后硬编码到 Python 里。但是有 core dev 说这样写不太好，而且其中有一个关键字并不是在所有的 SQLite 编译出来的时候都会支持的，是一个 V 开头的关键字。希望就是这个 SQLite 这个关键字能够动态生成。然后我当时查了一下，就是如果你想动态生成需要在 C level 去写，但是我这个 C 学的不太好，虽然之前学过一个学期的公开课，但是我完全不知道就是用我查到的 SQLite 文档里说生成关键字列表的那两个函数，去生产，我不知道要怎么写，然后我也不知道怎么把它放进 Python, 所以我当时说这个对我有点难。后来有一天晚上我看到那个消息里，那位 core dev 又说了一遍，就是非常希望这个关键字列表它是能从 C 里拿到的，而不是从 Python 里拿。我当时其实有点理解错了，我以为他的意思是让我把那个硬编码的关键字列表从 Python 给移到 C 里，然后我当时就把它移到 C 里了。虽然我对那个 Python 的 C 要怎么写，然后怎么把它暴露出来，暴露给 Python 的代码去能够访问，我用了一下 AI，当时是用的豆包，问怎么在 Python 的那个 C 里面存一个列表，然后能让它暴露出来，给 Python 的代码调用。然后当时豆包写上，然后我试了一下豆包给的结果，然后是可以的，然后我就直接硬编码到 C 里，然后问那个 core dev 行不行。但是 core dev 后来回复说他的意思是不是在 C 里硬编码，而是在 C 里要动态生成。当时我就，我感觉我理解错了。然后后来是另一位 core dev 帮忙给写的，然后他写了之后给发了一个 PR 到我的那个 fork 里，然后我合并进去，然后我的 fork 再合并到 CPython 的 main。

laike9m:
我还在想，就是因为我也看到你的那个 keywords 那部分是从 C 的 module 里 import 的。这个他当时说为什么要动态生成，其实我还是不太理解。可能就是 OK，我明白，但就是你编译的时候，你会根据你的 CPython 版本有不同的关键词，这样你就不用在那个 Python 里面写，比如说 if 是什么版本，然后你的关键字要加或者减一些东西是吧？

tanloong:
对的，SQLite 它应该是在编译的时候有一个选项，如果你开了某个选项，那么它的关键词会有变化。

laike9m:
明白明白。

tanloong:
哦。

laike9m:
这个确实还挺 tricky 的，对，感觉是这个 PR 里面最困难的部分。

tanloong:
确实。

Manjusaka:
嗯。

laike9m:
那所以就是总体这个流程下来你有什么感受吗？因为我知道你的那个 PR 还被因为把 test break 了还被 revert 了一次，对吧？

tanloong:
对，它是有一个测试在运行那个 run_pty 的时候，它是用那个 run_pty 生成一个 sudo terminal, 就在一个伪终端里去模拟用户的输入，然后查看它给的 candidates 是不是符合预期。但是在那个伪终端里，它给的 candidates 是带颜色的。就是你的 candidates，它的两边会有那个控制符。

laike9m:
它那个颜色码嘛，然后就不对了。

tanloong:
对，然后测试就 fail 了。当时是在那个 buildbot 上跑构建，就是构建失败，我找了一下，但是我想就是在那个 buildbot 上最好能有一个 interactive 的，就我能像在终端里我手动敲命令一样，我可以人为的去测试，然后看一下它中间到底是什么样子，再修改那个测试。但是 buildbot 我找不到我要怎么就进那个交互式的模式，也可能根本就没有。然后这个问题我解决不了。然后当时是有个 core dev 说他去找那个 buildbot 的 owner，然后问他要 SSH 的权限，然后他去调试。

laike9m:
等一下，我有一个疑问，就是为什么你这个 PR 感觉大家都很 helpful? 因为你知道一般的 CPython PR 就是你提了之后，可能很长时间都没有人理。这点你是怎么看的？就是感觉大家都会去帮你去 debug 或者帮你写些代码，这个是自然的吗？还是说他们本来就对这个很有兴趣还是怎么样？

Manjusaka:
嗯，从我的角度出发的话，我不太确定，高天老师那边可能有其他的 input, 但是就我观察来看，这个取决于 core dev 风格。不过他们整体来说，对新人是比较友好的。而且去 buildbot 里面调试这种东西的话，我觉得这个东西其实也还好，你去翻看 CPython 的 PR 其实这种事情也有不少，所以说我觉得这个相对来说还好。但是对于一些争议或者说是还在试图达成共识的过程中，那确实是比较头疼的。但是如果说是已经达成共识要去实施的一个 PR, 那我觉得相对来说会好一些。

laike9m:
明白，所以就是这种没有什么争议性的，只是实现或者一些 debug 问题就会推进的比较快，然后大家也会帮忙。

Manjusaka:
对，而且这种东西我理解主要是你添加新的 feature，而不是更改 API 的话，那这种东西就会好很多。就像我上周的时候，我当时想改 sys._enable_profile() 那个 API, 就是新增加的那个远程 debug 的接口，我想新增加在它的 audit event 里面增加一些元数据。这就牵扯到了 API 的更改以及更内部的一些细节上的更改。然后我就和三个 core dev，然后 Victor, Paul，还有哪一位，然后就 battle 了两天，然后最后 I gave up。

laike9m:
好吧，他们可能有一些 concern。

Manjusaka:
对，就这种你增加一些新的 API 之类的，就是会有一些比较 concern, 但是如果说你是实现一个全新的 feature, 大家觉得你这个 feature 不是为了实现而去实现，那这种情况下相对来说还是会比较顺利的。

laike9m:
嗯，嗯，理解。还有一点就是我知道那个 CPython 的不同模块，它其实是不同的人来维护的嘛。

Manjusaka:
啊，是的，没错。

laike9m:
就可能恰好就是 SQLite 这个维护者，他就是比较积极，比较热心，就是反应比较快，所以。

Manjusaka:
啊，是的，没错。它是比较活跃的，就是 SQLite 这种东西。我就又说到一个伤心事。在改一个东西，然后被 Mark 直接给拒了，然后我现在都还推不动，虽然大家都说有需求，但是 Mark 就觉得说这个东西没需求，然后但是就给拒了，对。

laike9m</stron