本论文从信息论的角度简要概述了深度学习，试图解决这两个问题：

(1) 深度神经网络为什么比浅层网络的泛化能力好?

(2) 是否在所有场景下，更深层的神经网络的效果都更好?

论文：An Information-Theoretic View for Deep Learning

论文链接：

摘要：深度学习改变了计算机视觉、自然语言处理和语音识别领域。但还有两个依然模糊的关键问题：(1) 深度神经网络为什么比浅层网络的泛化能力好?(2) 是否在所有场景下，更深层的神经网络的效果都更好?具体而言，令 L 表示某一深度神经网络中的卷积层和池化层层数，n 表示训练样本量，我们可推导出此网络的期望泛化误差上界：

其中，σ>0 为常量，依赖于损失函数; 0

我们研究了统计学习的标准框架，其中 Z 表示示例空间(instance space)，W 表示假设空间(hypothesis space)，n 元组 S = (Z_1, Z_2, ..., Z_n) 表示训练样本，所有元素 Z_i 为从未知分布 D 中抽样得到的独立同分布样本。学习算法 A : S → W 可以理解为从训练样本空间 Z^n 到假设空间 W 上的随机映射。利用马尔科夫核 P_W|S 来描述学习算法 A：给定训练样本 S，算法根据条件分布 P_W|S 从 W 中抽取一个假设。

等式右侧第一项为期望泛化误差，第二项则反映了在期望的角度下，学得假设对训练样本的拟合程度。

在设计学习算法时，我们希望期望风险的期望 E[R(W)] 越小越好。但通常，很难同时令期望泛化误差 G(D，P_W|S) 和期望经验风险 E[R_S(W)] 都很小：如果某个模型对训练样本的拟合过于好，则它在测试数据上的泛化能力就可能很差，这就是「偏差-方差权衡问题」(Domingos, 2000)。惊人的是，根据实证经验，深度学习算法能够很好地同时最小化 G(D, P_W|S) 和 E[R_S(W)]。深度网络的深层架构能够有效地紧凑表征高变函数(highly-varying function)，进而令 E[R_S(W)] 很小。但关于期望泛化误差 G(D, P_W|S) 能够保持很小的原因的理论研究依然不明确。

在本文中，我们从信息论角度出发研究深度学习算法的期望泛化误差。我们证明了随着层数增加，期望泛化误差 G(D, P_W|S) 会呈指数下降至 0。在定理 2 中，我们证明了：

其中，L 是深度神经网络中的信息损失层层数;00 为常量，依赖于损失函数;n 为训练样本 S 的样本量大小;I(S, W) 为输入训练样本 S 和输出假设 W 间的互信息。

此结论来自于两个和信息论相关的重要结果。第一个结果是来自于 Ahlswede 和 Gács 1976 年提出的强数据处理不等式(Strong Data Processing Inequalities，SDPI)：对于马尔科夫链 U → V → W，如果在映射 V → W 中存在信息损失，则 I(U, V ) ≤ ηI(U, W)，其中 η

我们的结果与「偏差-方差权衡问题」并不冲突。尽管随着信息损失层层数增加，期望泛化误差呈指数下降至 0;但由于信息损失不利于拟合训练样本，因此期望经验风险