Leifeng.com人工智能技术评论出版社：时光飞逝。Yann LeCun似乎刚刚在推特上感觉到，ICLR 2018的参赛人数比2017年又翻了一番，现在ICLR 2018已经在加拿大当地时间5月3日结束。 　　

　　

　　雷锋网AI技术评论重点关注的五家科技公司Google、DeepMind、脸书、OpenAI、微软，今年在ICLR贡献了9篇口头(口头报告)论文和107篇海报(海报展示)论文，占大会接受的23篇口头和314篇海报论文的近一半。(Google、FB、微软重点介绍其AI研究机构：Google Brain/Google AI、脸书AI研究院、微软研究院) 　　

　　

　　从各个机构的数量来看，DeepMind有22篇，Google有47篇，脸书有25篇，OpenAI有7篇，微软有15篇。Google和DeepMind加起来占了大会收到论文总量的20%，可以说有绝对的影响力。 　　

　　

　　我们翻阅了这五所院校共116篇ICLR 2018录取论文，试图梳理出整个领域近期的研究内容和研究风格点。需要注意的是，受理论文的结果是由研究机构的论文作者和大会的审稿人共同决定的；另一方面，我们阅读的论文只是所有ICLR 2018被接受论文的一部分，因此基于这些论文的判断可能不全面。 　　

　　

　　我们发现： 　　

　　

　　强化学习是今年一大研究热点 　　

　　

　　不仅DeepMind仍然把强化学习作为重要的研究对象，其他研究机构也有很多关于强化学习的研究，把强化学习作为研究其他领域问题的工具。这106篇论文中大约有20篇是关于强化学习的。去年很火的GANs，今年已经没落了。 　　

　　

　　另一方面，与语言相关的论文多达22篇，内容涵盖语言进化探索、弱/无监督翻译、阅读理解、问答等。 　　

　　

　　必不可少的是对各种现有方法的深度探究并做出改进 　　

　　

　　口头论文来自Google 《Boosting the Actor with Dual Critic》(https://openreview.net/pdf？Id=BkUp6GZRW)基于大家熟悉的actor-critic模式算法，不断进行改进； 　　

　　

　　同样来自Google 《On the Convergence of Adam and Beyond》(https://openreview.net/forum？Id=ryQu7f-RZ)对Adam等常用的优化算法进行比较，找出存在的问题并提出一些改进。这篇论文还获得了今年的最佳论文奖。 　　

　　

　　《Sensitivity and Generalization in Neural Networks: An Empirical Study》(https://openreview.net/pdf? Id=hjc 2s zzcw)在实际使用中，人们发现参数过多的大规模网络实际上比小规模网络具有更好的泛化能力，这似乎与我们对函数复杂性的经典认知相悖。本文对这一问题进行了探讨。 　　

　　

　　来自脸书的《Residual Connections Encourage Iterative Inference》(https://arxiv.org/abs/1710.04773)的分析实证研究了ResNet能够带来良好性能的原因，以及在某些使用模式下如何避免过拟合问题。 　　

　　

　　除了针对深度学习领域本身的已有问题做深入发掘之外，有越来越多论文以深度学习为工具，研究和验证人类学习、人类语言演进等方面的假说。 　　

　　

　　深此口头论文《Emergence of linguistic communication from referential games with symbolic and pixel input》(https://openreview.net/pdf？Id=HJGv1Z-AW)，在像素组成的环境中训练强化学习代理，用语言进入化学和应急通信任务的环境的思想研究算法通信模式的进化和学习。 　　

　　

　　同样来自DeepMind的《Compositional obverter communication learning from raw visual input》(https://openreview.net/forum？Id=Hk6WhagRW)和《Emergent communication through negotiation》(https://openreview.net/forum？Id=Hk6WhagRW)两篇文章也同样用深度学习的方法研究人类语言的进化。 　　

　　

　　在《机甲掌握地下城：基础语言学习》一书中，脸书还探索了特工们学习语言的另一种方式 　　

anical Turker Descent》（https://arxiv.org/abs/1711.07950），他们提出了有趣的 Mechanical Turker Descent 的交互式学习方法，让众包参与实验的人类在竞争和合作中训练智能体处理文字探险游戏中的自然语言内容，交互式的学习也给智能体提供了动态变化的、符合它们当前水平的训练数据。

　　

另一篇来自 Facebook 的《Emergent Translation in Multi-Agent Communication》（https://arxiv.org/abs/1710.06922）研究的是当下热门的无平行语料的翻译问题，他们的环境设置是让两个说不同语言的智能体玩挑图游戏，在游戏过程中学习翻译对方的语言。这种设置不仅和直接学习一个无监督的翻译器不同，而且还更像是在研究许多人都困惑已久的「两个语言不通的人如何沟通」、「最早学习某种外语的人是如何学习的」这种问题。

　　

逻辑、抽象概念学习也出现越来越多的成果

　　

DeepMind 《SCAN: Learning hierarchical compositional visual concepts》（https://arxiv.org/abs/1707.03389），雷锋网 AI 科技评论做过解读DeepMind提出SCAN：仅需五对样本，学会新的视觉概念！。

　　

另一篇《Can neural networks understand logical entailment?》（https://openreview.net/forum?id=SkZxCk-0Z）针对模型捕捉、运用逻辑表达式的能力提出了新的模型和数据集

　　

优化方法仍在讨论和快速进步

　　

即便在大数据和计算能力已经不是问题的今天，模型的优化方法也仍然是很多研究者关心的课题，谷歌尤其在这方面有多篇论文。降低分布式训练的带宽需求《Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training》（https://arxiv.org/abs/1712.01887）、Hinton 的分布式在线蒸馏《Large Scale Distributed Neural Network Training Through Online Distillation》（https://arxiv.org/abs/1804.03235，雷锋网 AI 科技评论解读文章见这里）、学习率和批大小之间的关系如何《Don't Decay the Learning Rate, Increase the Batch Size》（https://arxiv.org/abs/1711.00489）、新提出的优化算法《Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks》（https://arxiv.org/abs/1712.03298），以及前文提到过的《On the Convergence of Adam and Beyond》，都展现了谷歌的研究人员们对这类问题的重视。

　　

微软的 oral 论文《On the insufficiency of existing momentum schemes for Stochastic Optimization》（https://arxiv.org/abs/1803.05591）探究了现有带动量的随机优化算法的问题，《Training GANs with Optimism》（https://arxiv.org/abs/1711.00141）则为训练 Wasserstein GANs 带来了新的方法。

　　

实际上，百度也有一篇论文《Mixed Precision Training》（https://arxiv.org/abs/1710.03740）讨论了在网络训练中使用半精度浮点数而不是一般的单精度浮点数，在缩减超大规模网络所需存储和计算需求的同时还保持足够的网络表现。

　　

尝试开拓深度学习的新领域

　　

来自微软的《Deep Complex Networks》（https://arxiv.org/abs/1705.09792）为复数值的深度神经网络提供了更多基础组件，包括复数神经网络的复数批量标准化、复数权值初始化策略等。

　　

来自谷歌的《Graph Attention Networks》（https://arxiv.org/abs/1710.10903）提出了运行在图结构的数据上的新的神经网络架构 GAT，它同时还具有掩蔽自我注意力层，以改善以往的基于图卷积及其近似的模型的缺点。

　　

另外值得一提的是，三篇 ICLR 2018 最佳论文中的《Spherical CNNs》（https://openreview.net/forum?id=Hkbd5xZRb）也是开拓新领域的精彩的尝试。

　　

有不少研究安全的论文，但方向较为集中

　　

来自谷歌 Nicolas Papernot 等人的《Scalable Private Learning with PATE》继续研究了深度学习中的隐私问题（https://openreview.net/pdf?id=rkZB1XbRZ），实际上 Nicolas Papernot 去年就作为第一作者以《Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data》提出了 PATE 框架获得了 ICLR 2017 的最佳论文奖，雷锋网 AI 科技评论也翻译了获奖演讲，详见ICLR-17最佳论文作者Nicolas Papernot现场演讲：如何用PATE框架有效保护隐私训练数据？

　　

除此之外的研究安全性的论文基本都是对抗性样本、超出原分布的样本的检测和防御。

　　

各位读者如果有认为出彩的、值得注意的论文，也欢迎在评论区留言补充讨论。今年 ICLR 2018 的会议投递情况和最佳论文介绍还可以参见这里和这里。明年 ICLR 2019 我们不见不散。

　　

谷歌论文列表：https://research.googleblog.com/2018/04/google-at-iclr-2018.html

　　

DeepMind 论文列表：https://deepmind.com/blog/deepmind-papers-iclr-2018/

　　

Facebook 论文列表：https://research.fb.com/facebook-research-at-iclr-2018/

　　

OpenAI：https://twitter.com/OpenAI/status/989978665113993216

　　

微软论文检索：https://www.microsoft.com/en-us/research/search/?q&content-type=publications&research_area=13556

　　

雷锋网 AI 科技评论报道