Topbots 总结了他们眼中 2018 年里 10 篇最为重要的 AI 研究论文，带领大家领略过去的一年中机器学习领域的关键进展。现在点开了这份清单的人显然是极为幸运的，获得了一个精彩瞬间回放的机会。
不得不说，考虑到这个领域极快的发展速度和极多的论文数量，肯定还有一些值得阅读的突破性论文没能包括在这份榜单中。不过这份清单是一个好的开始。
1. Universal Language Model Fine-tuning for Text Classification
「用于文本分类的通用语言模型的精细调节」
论文地址：
内容概要 研究人员们发现，对于对抗性样本的防御，目前主要使用的是梯度模糊方法，但这种方法并不能带来真正的安全，因为它可以被轻松规避。这篇论文了研究了三种使用了梯度模糊的防御方法，并展示了可以绕过梯度模糊防御的技巧。他们的发现可以帮助目前使用了梯度模糊防御的组织机构考虑如何强化自己的方法。 论文思想要点 目前有三种常见的梯度模糊做法： 梯度破碎(shattered gradients)，防御方法会有意地(通过不可微的运算)或者无意地(通过数值的不稳定性)提供不正确的梯度，或者不提供梯度; 通过随机防御提供随机梯度; 通过非常深的深度神经网络评估带来消失梯度/爆炸梯度。 基于梯度的方法有一些问题，我们可以看到下面这些迹象： 一步式的攻击比迭代式的攻击效果更好; 黑盒攻击比白盒攻击的效果更好; 无限制攻击也无法达到 100% 成功率; 随机采样也可以找到对抗性样本; 提高图像扭曲的容忍度并不能提高攻击成功率。 论文的关键成果是，通过实验表明如今使用的大多数防御技术都还很脆弱。ICLR 2018 接收论文中的 9 种防御技术中，有 7 种都使用了梯度模糊，而论文作者们提出的新攻击方法可以完全绕过 7 种中的 6 种防御，并部分绕过最后 1 种。 领域内学者评价 这篇论文获得了 ICML 2018 的最佳论文奖; 这篇论文清晰地展示出了我们现有技术的优点和缺点 未来可能的相关研究 我们需要考虑在细致、全面的评价方式下构建新的防御技术，目标是不仅能够防御现有的攻击方式，还要能够防御以后有可能开发出的新的防御方式。 3. Deep Contextualized Word Representations 「深度上下文依赖的单词表征」 论文地址：
内容概要 领域内有种常见的假设：对于序列建模问题来说，选择一个循环网络架构作为出发点是默认的做法。这篇论文的作者们就对这种假设提出了质疑。他们的结果表明，一般的时序卷积网络(TCN)能在许多种不同的序列建模任务中稳定地超出 LSTM 以及 GRU 之类的典型的循环神经网络。 论文思想要点 在近期发现的最佳实践做法(比如空洞卷积和残差连接)的帮助下设计出的时序卷积网络(Temporal convolutional networks)可以许多复杂的序列建模任务中发挥出超过一般循环网络架构的表现; TCN 表现出的记忆能力比循环网络明显更长，也就更适合那些需要很长的历史记录的序列建模任务。 领域内学者评价 特斯拉 AI 总监 Andrej Karpathy 评论：「在用 RNN 之前一定要先试试 CNN。CNN 的表现会好到你惊讶的。」 未来可能的相关研究 为了在不同的序列建模任务上进一步提高 TCN 的表现，我们还需要更多的架构探索、算法探索方面的合作。 5. Delayed Impact of Fair Machine Learning 「公平的机器学习的影响是有延迟的」 论文地址：
内容概要 David Ha 和 Jurgen Schmidhuber 开发了一个世界模型，它可以用无监督的方式快速训练，学到所处环境的空间和时间表示。这个智能体可以成功地在赛车地图中导航，并且在 VizDoom 环境中躲开怪物发射的火球。而这些任务对于此前的方法来说都难以解决。 论文思想要点 论文所提的解决方案包含三个独立的部分： 一个变分自动编码器(VAE)，它负责捕捉视觉信息。它会把 RGB 形式表示的输入图像压缩为一个服从 高斯分布的 32 维隐含向量。这样，这个智能体只需要处理一个环境的很小的表示，从而大幅提高了学习效率。 一个循环神经网络(RNN)，它负责前馈思考。这是一个起到记忆作用的组件，它会在给定前一帧图像和前一个动作的条件下尝试预测视觉部分看到的下一帧图像可能是什么样子。 一个控制器，它负责选择动作。它是一个非常简单的神经网络，它把 VAE 的输出和 RNN 的隐含状态级联起来，然后选择一个好的动作。 领域内学者评价 这篇论文在 AI 研究者间得到了广泛的讨论，它是一项设计优美的使用神经网络做强化学习的研究，而且让智能体在自己「幻想」出的世界中进行训练。 未来可能的相关研究 为了让智能体探索更加复杂的世界，可以把小的 RNN 换成有更大容量的模型，或者集成一个外部存储模块。 论文中使用的规划方法是逐时间步的，可以考虑尝试更通用化的方法，也就可以使用层次化的规划方法。 7. Taskonomy: Disentangling Task Transfer Learning 「任务学：任务迁移学习的解耦」 内容概要 自从现代计算机科学发展的早期以来，就有许多研究者们提出不同的视觉任务之间具有某种结构。现在，Amir Zamir 和他的团队终于做出了寻找这种结构的尝试。他们使用一个完全计算性的方式进行建模，发现了不同视觉任务之间的许多有用的联系(甚至包括一些非平凡的视觉任务)。他们也表明了可以利用这些相互依赖关系进行迁移学习，只需要大约 1/3 的标注数据就可以达到相同的模型表现。 论文思想要点 一个了解不同视觉任务之间关系的模型需要的监督可以更少，需要的计算量可以更小，而且它的行为也更容易预测。 人们更喜欢用这样的完全计算性的方法发现不同视觉任务之间的关系，因为它可以避免引入人类的先验假设。人类的先验假设来自于直觉或者分析性的知识;这些假设完全可能是错误的，而神经网络可能是以完全不同的法则运行的。 领域内学者评价 这篇论文获得了 CVPR 2018 最佳论文奖; 论文的结果意义重大，因为大多数的真实世界任务中都没办法获得大规模标注数据集。 未来可能的相关研究 目前论文中研究的常见视觉任务都是完全由人类定义的，下一步可以尝试新的模式，那就是首先用计算性的方法发掘一些隐含的子任务，而人类定义的视觉任务就是对它们观察后得到的采样; 探索是否有可能把模型学到的东西迁移到不完全属于视觉领域的任务中，比如迁移到机器人控制。 8. Know What You Don't Know: Unanswerable Questions for SQuAD 「知道你不知道的：SQuAD 中无法回答的问题」