7 papers｜EMNLP 2019最佳论文；Facebook语言模型X取得SOTA结果

机器之心整理

参与：杜伟、一鸣

本周的论文既揭幕了 EMNLP 2019 最佳论文，也有 Facebook 在多个跨语言理解基准上取得 SOTA 结果的新模型以及登上 Nature Communications 的最优学习 85% 规则。

目录：

论文 1：Specializing Word Embeddings（for Parsing）by Information Bottleneck

图 1：研究者利用瓶颈变量 T 来实例化信息瓶颈。

论文 2：Loss Landscape Sightseeing with Multi-Point Optimization

图 1：典型 CNN 模型在 FashionMNIST（a）和 CIFAR10（b）数据集上的损失表面示例。

图 2： FashionMNIST 数据集上用于 2D 模式拟合的多点优化方法。

推荐：这篇出自莫斯科物理技术学院（Moscow Institute of Physics and Technology）神经 络与深度学习实验室的论文向读者介绍了多点优化在模型训练中的诸多优势。

论文 3：Unsupervised Cross-lingual Representation Learning at Scale

推荐：Facebook 这篇论文提出的 XLM-R 模型是基于 Transformer 的掩模语言模型，其在多个跨语言理解基准测试中的结果都显著优于 BERT（mBERT）。

论文 4：Understanding the Role of Momentum in Stochastic Gradient Methods

推荐：这篇出自微软研究院人工智能中心（Microsoft Research AI）的论文详细探讨了随机梯度中动量参数对收敛以及不同算法中性能衡量指标的影响。

论文 5：The Visual Task Adaptation Benchmark

摘要：深度学习已经给计算机视觉领域带来了诸多改变。其中，达到 SOTA 水平的深度 络能够直接从原始像素中学习有用的表征，从而在众多视觉任务上取得了前所未有的性能。但是，「从零开始」学习这些表征通常需要大量的训练样本。为了解决这方面的问题，谷歌 AI 推出了「视觉任务适应性基准」（Visual Task Adaptation Benchmark，VTAB）。这是一个多样性的、真实的和具有挑战性的表征基准。这一基准基于以下原则：在所需领域内数据有限的情况下，更好的表征应当能够在未见任务上实现更佳的性能。受启发于推动其他机器学习领域进展的一些基准，如用于自然图像分类的 ImageNet、自然语言处理的 GLUE 和强化学习的 Atari，VTAB 遵循相似的准则：（i）对解决方案施加最小约束，以鼓励创造性；（ii）注重实际；（iii）借助挑战性任务进行评估。

VTAB 基准原理图。

推荐：众所周知，图像分类领域有 ImageNet 数据集，自然语言处理领域有 GLUE 基准，这些基准在对应领域的进展中发挥了重要作用。终于，谷歌推出了视觉任务适应性领域的基准 VTAB（Visual Task Adaptation Benchmark），该基准有助于用户更好地理解哪些哪些视觉表征可以泛化到更多其他的新任务上，从而减少所有视觉任务上的数据需求。

论文 6：The Eighty Five Percent Rule for optimal learning

应用于感知器的「85% 规则」。a 横坐标表示每次训练的误差率（error rate），纵坐标表示训练次数（trial number）。图中的颜色表示训练出的 络的准确率，其中颜色越黄表示准确率越高，颜色越蓝表示准确率越低；b 横坐标表示训练数量，纵坐标表示相对精度（relative precision），三条曲线分别表示 0.36、0.06 和 0.16 的误差率。可以看出，当误差率为 0.16 时，相对精度的增加是最快的。这说明 0.16（约为 15.87%）为训练中的最优误差率。

推荐：这是一篇发表在 Nature Communications 上的论文，详细介绍了最优学习的 85% 规则。

论文 7：Confident Learning: Estimating Uncertainty in Dataset Labels

图 1：置信学习（CL）流程以及置信节点

和估计联合分布

的示例。

图 2：研究者对具有 40% 标签噪声和 60% 稀疏性的 CIFAR 进行联合分布标签噪声估计。

推荐：这篇出自麻省理工学院和谷歌的论文通过对分类噪声的假设对置信学习（CL）进行泛化，实现了对噪声标签和纯净标签之间联合分布的直接估计。