风发来自奥菲寺。 　　

　　

　　量子比特报告|微信官方账号QbitAI 　　

　　

　　你遇到过“代码拖更”?的经历吗 　　

　　

　　就是你看上了一篇论文或者一个项目，作者声称代码会开源或者已经开源，但是你等着瞧，天天查GitHub，代码就是一直没发布. 　　

　　

　　 　　

　　

　　reddit上的一名网友经历了这种经历，同样是在他的三番五次联系原作者.身上 　　

　　

　　无奈/愤怒之下，他把作者和论文挂在了网上。 　　

　　

　　 　　

　　

　　结果这种现象引起了网友的热议，被退回把“涉事”作者给“炸”出来! 　　

　　

　　声称代码开源，但没有更新。根据发帖用户的说法，“涉事”论文是一篇关于NeurIPS 2020.自动驾驶的论文 　　

　　

　　当时他觉得很有意思。他顺着文中给出的代码地址点进去，发现仓库其实是一个“空壳”。 　　

　　

　　“好吧，应该是还没来得及更新,"，”他心想，“那就把它叉开，过几天再来。” 　　

　　

　　然而，他等了又等，代码始终没有发布。 　　

　　

　　他在评论区看到其他人在“催促别人”，他自己也试图通过邮件联系作者(包括学生和PI)，但都没有得到回复。 　　

　　

　　最后，去年11月份向arXiv提交了他的论文，并在今年更新了4月的代码仓库！ 　　

　　

　　——但是，更新的只是自述文件,只是说代码很快就会发布。 　　

　　

　　然后几个月过去了，它成了仓库的最后一次更新。 　　

　　

　　 　　

　　

　　而这位网友最后联系了作者，却得到了这样的回应： 　　

　　

　　论文实际上是基于经验的改进，没有有效的代码来重现结果。 　　

　　

　　这位网友真的炸了：“我等了你这么久，花了很大力气联系你。”不发布就不发布，一开始就别承诺啊，也更不该‘玩失踪’啊." 　　

　　

　　他说他知道这种“声称开源但实际上不发布代码”的事情，在机器学习论文中越来越多. 　　

　　

　　当他实验室的本科生问他“为什么别人已经开始下一个有趣的项目了，我还要这么辛苦的整理代码并发布”时，他无法解释。 　　

　　

　　但是事情不应该是这样: 　　

　　

　　我强烈认为，这种事情必须改变，这种现象只有我们大声说出来才能改变。 　　

　　

　　于是，就有了上面提到的这篇论文被挂在网上“夭折”的事情。 　　

　　

　　谁有罪？我该怎么办？看到这个帖子，很多网友的第一反应确实是：这不新鲜。 　　

　　

　　“CVPR 2019有一纸代码还没发布。原作者还亲口告诉我，有代码，而且是在线的……” 　　

　　

　　 　　

　　

　　但是，这并不排除有人在论文被接受后来到又偷偷删除链接. 　　

　　

　　 　　

　　

　　毕竟有网友指出，有些人不发是因为担心自己“暴露”太多被别人超过. 　　

　　

　　 　　

　　

　　emmmm…… 　　

　　

　　当然，更常见的是您自己的代码有问题，但是： 　　

　　

　　“Paper + Bad Code Paper + No Code。” 　　

　　

　　很多人说，论文的代码要公开，就算有错别人跑不了，也要尽力发出去，大家都可以做逆向工程——毕竟聊胜于无。 　　

　　

　　至于不发布代码的原因，也有“开源代码对你来说可能需要30分钟，但需要一些真的很忙的周才能完成，所以你不应该责怪他们”的说法，但显然他没有抓住这次事件真正的问题所在: 　　

　　

　　无法打开源代码 　　

况会有，可以原谅，但你不应该把“代码已在X发布”写在论文中。不诚实才是最大的问题。

　　

　　

而另一边，网友也把矛头指向了评审。

　　

“我已经说过很多次了，会议/期刊/审稿人应该确保论文中提到的代码是真正发布了的。”

　　

许多人一致认为先不提有没有验证代码是否能复现，没有复现代码能过审就让人费解，所以给复现代码挂了个空仓库的论文一开始就应该被拒稿，审稿人应该好好把关。

　　

　　

不过说是这么说，有人算了算：

　　

ICLR今年收到了大约3400篇提交，每篇论文应该有4条评论，所以总共需要13000+条评论。而一个好的评审总共需要4-5个小时在一篇论文上。

　　

这需要耗费的时间不敢想象，但审稿又是“义务劳动”，你“审的好”不会给你带来什么附加收益，对你找工作、升职加薪什么的也不会有帮助，所以……

　　

那你可能会说，付费评审吧。

　　

但这不且提每小时约100美元的市场价格带来高得离谱的成本，有的人给钱他都不一定有那么多时间呢。

　　

　　

再扯远点，最不缺的是审稿人，而是真正有水平的审稿人。

　　

　　

所以也就发生了太多空代码论文“钻空子”的情况。

　　

不过，也不是完全没有办法。

　　

有网友支招，面对那种承诺已有代码实际就是没有的，可以把它提交到下面这个网站：

　　

　　

会有人专门帮你联系作者，其审核严格，也会显示每篇论文的处理进度。

　　

　　

从申请理由中，我们也可以看到，代码有问题的论文也可以提交的。

　　

良心网站。

　　

“涉事”论文作者被“炸”出来了令人没想到的是，原帖网友私下三番五次联系不上“涉事”论文作者，发了这个帖子后，倒是一下子把他“炸”出来了。

　　

　　

他首先道歉，表示自己刚刚进入一家公司工作很忙，没有及时跟踪到这篇论文的邮件。

　　

并承诺在最近的NeurIPS之前会发布代码，到时大家有啥问题就可以问他了。

　　

还给出了代码用到的数据集来自哪篇论文以及根代码库的链接。

　　

以上，你怎么看？

　　

参考链接：
https://www.reddit.com/r/MachineLearning/comments/qrbkc7/d_calling_out_the_authors_of_trajformer_paper_for/

　　

― 完 ―

　　

量子位 QbitAI 头条号签约

　　

关注我们，第一时间获知前沿科技动态