机器之心报道
：Panda
神经网络是一种灵活且强大的函数近似方法。而许多应用都需要学习一个相对于某种对称性不变或等变的函数。图像识别便是一个典型示例 —— 当图像发生平移时，情况不会发生变化。等变神经网络（equivariant neural network）可为学习这些不变或等变函数提供一个灵活的框架。
而要研究等变神经网络，可使用表示论（representation theory）这种数学工具。（请注意，「表示」这一数学概念不同于机器学习领域中的「表征」的典型含义。本论文仅使用该术语的数学意义。）
近日，Joel Gibson、Daniel Tubbenhauer 和 Geordie Williamson 三位研究者对等变神经网络进行了探索，并研究了分段线性表示论在其中的作用。
在表示论中，简单表示（simple representation）是指该理论的不可约简的原子。在解决问题时，表示论的一个主要策略是将该问题分解成简单表示，然后分别基于这些基本片段研究该问题。但对等变神经网络而言，这一策略并不奏效：它们的非线性性质允许简单表示之间发生互动，而线性世界无法做到这一点。
但是，该团队又论证表明：将等变神经网络的层分解成简单表示依然能带来好处。然后很自然地，他们又进一步研究了简单表示之间的分段线性映射和分段线性表示论。具体来说，这种分解成简单表示的过程能为神经网络的层构建一个新的基础，这是对傅立叶变换的泛化。
该团队表示：「我们希望这种新基础能为理解和解读等变神经网络提供一个有用的工具。」
该论文证明了什么？
在介绍该论文的主要结果之前，我们先来看一个简单却非平凡的示例。
以一个小型的简单神经网络为例：
其中每个节点都是 ℝ 的一个副本，每个箭头都标记了一个权重 w，并且层之间的每个线性映射的结果都由一个非线性激活函数 组成，然后再进入下一层。
为了构建等变神经网络，可将 ℝ 和 w 替换成具有更多对称性的更复杂对象。比如可以这样替换：
其可被描述为：
不过，要想在计算机上真正实现这个结构，却根本不可能，但这里先忽略这一点。
现在暂时假设函数是周期性的，周期为 2π。当用傅里叶级数展开神经网络时，我们很自然就会问发生了什么。在傅里叶理论中，卷积算子会在傅里叶基中变成对角。因此，为了理解信号流过上述神经网络的方式，还需要理解激活函数在基频上的工作方式。
一个基本却关键的观察是：(sin (x)) 的傅里叶级数仅涉及较高共振频率的项：
（这里展示了当 是 ReLU 时，(sin (x)) 的前几个傅里叶级数项。）这与我们拨动吉他琴弦时发生的情况非常相似：一个音符具有与所弹奏音符相对应的基频，以及更高的频率（泛音，类似于上面底部的三张图片），它们结合在一起形成了吉他独特的音色。
该团队的研究表明：一般情况下，在等变神经网络中，信息会从更低共振频率流向更高共振频率，但反之则不然：
这对等变神经网络有两个具体影响：
举个例子，如果使用典型的流式示意图（称为交互图 /interaction graph）表示，一个基于（8 阶循环群）构建的等变神经网络是这样的：
其中的节点是 C_8 的简单表示，节点中的值表示生成器的动作。在此图中，「低频」简单表示位于顶部，信息从低频流向高频。这意味着在大型网络中，高频将占据主导地位。
主要贡献
该团队做出了一些重要的理论贡献，主要包括：
等变神经网络和分段线性表示
该团队在论文中首先简要介绍了表示论和神经网络的基础知识，这里受限于篇幅，我们略过不表，详见原论文。我们仅重点介绍有关等变神经网络和分段线性表示的研究成果。
等变神经网络：一个示例
这篇论文的出发点是：学习关于某种对称性的等变映射是有用的。举些例子：
为了解释构建等变神经网络的方式，该团队使用了一个基于卷积神经网络的简单示例，其要处理一张带周期性的图像。
这里，这张周期性图像可表示成一个 n × n 的网格，其中每个点都是一个实数。如果设定 n=10，再将这些实数表示成灰度值，则可得到如下所示的图像：
我们可以在这张图上下左右进行重复，使之具有周期性，也就相当于这张图在一个环面上。令 C_n = ℤ/nℤ 为 n 阶循环群，C^2_n = C_n × C_n。用数学术语来说，一张周期性图像是从群 C^2_n 到 ℝ 的映射的 ℝ 向量空间的一个元素：。在这个周期性图像的模型中，V 是一个「C^2_n 表示」。事实上，给定 (a, b) ∈ C^2_n 和 ∈ V，可通过移动坐标得到一张新的周期性图像：
也就是说，平移周期性图像会得到新的周期性图像，例如：
得到等变神经网络的一个关键观察是：从 V 到 V 的所有线性映射的 ℝ 向量空间的维度为 n^4，而所有 C^2_n 表示线性映射的 ℝ 向量空间的维度为 n^2。
下面来看一个 C^2_n 等变映射。对于，可通过一个卷积型公式得到 C^2_n 等变映射 V → V：
举个例子，如果令 c = 1/4 ((1, 0) + (0, 1) + (−1, 0) + (0, −1))。则 c・ 是周期性图像且其像素 (a, b) 处的值是其相邻像素 (a+1, b)、(a, b+1)、(a−1, b) 和 (a, b−1) 的值的平均值。用图像表示即为：
更一般地，不同 c 的卷积可对应图像处理中广泛使用的各种映射。
现在，就可以定义这种情况下的 C^2_n 等变神经网络了。其结构如下：
其中每个箭头都是一个卷积。此外，W 通常是 ℝ 或 V。上图是一张卷积神经网络的（经过简化的）图像，而该网络在机器学习领域具有重要地位。对于该网络的构建方式，值得注意的主要概念是：
该团队还指出上图隐式地包含了激活图，而他们最喜欢的选择是 ReLU。这意味着神经网络的组成成分实际上是分段线性映射。因此，为了将上述的第二个主要观察（通过将问题分解成简单表示来简化问题）用于等变神经网络，很自然就需要研究分段线性表示论。
等变神经网络
下面将给出等变神经网络的定义。该定义基于前述示例。
令 G 为一个有限群。Fun (X, ℝ) 是有限群 G 的置换表示（permutation representation）。
定义：等变神经网络是一种神经网络，其每一层都是置换表示的直接和，且所有线性映射都是 G 等变映射。如图所示：
（这里，绿色、蓝色和红色点分别表示输入、隐藏层和输出层，perm 表示一个置换表示，它们并不一定相等。和普通的原始神经网络一样，这里也假设始终会有一个固定的激活函数，其会在每个隐藏层中被逐个应用到分量上。）
最后举个例子，这是一个基于点云的等变神经网络，而点云是指 ℝ^d 中 n 个不可区分的点构成的集合。这里 n 和 d 为自然数。在这种情况下，有限群 G 便为 S_n，即在 n 个字母上的对称群，并且其输入层由 (ℝ^d)^n = (ℝ^n)^d 给定，而我们可以将其看作是 d 个置换模块 Fun ({1, ..., n}, ℝ) 的副本。如果将 Fun ({1, ..., n}, ℝ) 写成 n，则可将典型的等变神经网络表示成：
（这里 d=3 且有 2 层隐藏层。）这里的线性映射应当是 S_n 等变映射，而我们可以基于下述引理很快确定出可能的映射。
引理：对于有限 G 集合 X 和 Y，有，其中 Fun_G (X × Y, ℝ) 表示 G 不变函数 X×Y →ℝ。
根据该引理，，并且 G = S_n 有两条由对角及其补集（complement）给出的轨道。因此，存在一个二维的等变映射空间 n→n，并且这与 n 无关。（在机器学习领域，这种形式的 S_n 的等变神经网络也被称为深度网络。）
为了更详细地理解等变神经网络以及相关的分段线性表示论的定义、证明和分析，请参阅原论文。
机器学习模型解释的可理解性框架如何帮助我们评估模型行为？
揭示黑箱决策的秘密：深度解析机器学习模型的可理解性框架
在现代科技的前沿，神经网络等复杂机器学习模型常常被比喻为“黑匣子”，因为它们的内在工作原理深不可测。 然而，为了揭示这些模型决策的神秘面纱，研究人员正尝试开发一套方法，描绘单个模型决策的逻辑脉络。
量化理解的挑战
麻省理工学院的研究者们意识到，即使是最具洞察力的局部解释，如果连设计者都无法轻易理解，那么它们的价值就大打折扣。 因此，他们着手构建了一个数学框架，旨在精确量化和评估模型解释的可理解性，避免基于局部现象做出的片面结论。
电气工程和计算机科学专业的研究生Yilun Zhou，作为这个创新框架的核心研究者，强调了这个框架的重要性：“有了ExSum，我们不仅能够清晰地了解从局部解释中得出的模型理解，更能识别出那些我们尚未察觉的模型行为盲点。”
从局部到全局的探索
理解机器学习模型的一种策略是寻找一个透明的模拟模型，但神经网络的复杂性使得这种方法往往无效。 研究者转而关注局部解释，如文本中的关键词，它们能显示对模型预测的影响。 然而，将这些局部观察推广到整体模型行为时，往往存在偏差。 ExSum通过量化规则的覆盖率、有效性与清晰度，帮助用户测试和修正这些假设。
揭示模型的潜在偏见与意外行为
例如，如果研究者怀疑性别歧视问题，ExSum允许他们制定规则来测试这种假设。 框架的测试结果揭示了意想不到的发现，比如在电影评论中，负面情绪词汇对模型决策的影响可能更强烈。 这揭示了评论者在批评中保持礼貌的策略对模型预测的影响。
未来扩展与目标
Yilun Zhou的下一步是扩展这个框架，将可理解性标准延伸到其他解释形式，比如反事实解释，以提供更全面的模型解读。 他还期望通过改进用户界面，减少人工参与的时间，让用户能够更高效地创建和评估规则。
总结来说，ExSum不仅填补了从局部解释到全局理解的空白，也提出了对机器学习模型解释的新要求：可理解性应当成为评价解释质量的关键指标。 Yilun Zhou的创新工作正推动我们重新定义对模型理解的期待，向着更透明、更易理解的未来迈进。
深度神经网络是如何训练的？
Coursera的Ng机器学习，UFLDL都看过。 没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。 反正我当时看的时候心里并没能比较清楚的明白。 我觉得想了解深度学习UFLDL教程 - Ufldl是不错的。 有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。 后来看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感觉是对CNN的理解有了很大的提升。 沉下心来推推公式，多思考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。 所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。 当然同时也学到了许多其他的关于cnn的。 并且建议你不仅要完成练习，最好能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和可能忽略的东西。 这样的网络可以使用中间层构建出多层的抽象，正如我们在布尔线路中做的那样。 例如，如果我们在进行视觉模式识别，那么在第一层的神经元可能学会识别边，在第二层的神经元可以在边的基础上学会识别出更加复杂的形状，例如三角形或者矩形。 第三层将能够识别更加复杂的形状。 依此类推。 这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。 然后，正如线路的示例中看到的那样，存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。
因果推断下的模型可解释性- 方法综述
Causal Interpretability for Machine Learning - Problems, Methods and Evaluation
机器学习方法被越来越广泛的应用到工作中，深度神经网络的成功把感知智能推向一个巅峰。 然而，人们常常需要理解模型为什么做出这样的判断？并且在一些极端严谨的场景，如金融、补贴、欺诈等，模型的判断依据和缘由变的格外重要。 机器学习可解释性应运而生，且逐步的被应用到工业场景中。 然而，在一些黑盒度较高的模型，如深度神经网络，中上进行有效的解释十分困难。 随着机器学习可解释技术的不断发展，难题逐渐被攻克。 不过，传统的可解释技术更多的依赖于特征和结果变量之间的相关性，有可能会检测出一些相反甚至病态的解释关系。 同时，不能回答，“如果某个干预改变了，模型的决策或判断是什么？”这样的反事实相关的问题。
因果推断技术，是专门研究干预到结果效应的方法。 通常，我们把相关性看成无向的关系（特征和结果会互相影响，调整一方，另一方会随之变动），而把因果看成有向关系（特征决定结果，只有特征的变化会使得结果变动，而不存在反向关系）。 因果关系，通常是多场景稳定的，并且相比于相关关系，受到的干扰较小。 因此，以因果为依据的决策或判断更加稳定，也是我们希望机器学习方法能够学习到的关系。 （我们希望，机器学习方法是因为看到毛，胡须，脚掌上的肉垫以及没有虎皮花纹等特征，而判断某物体是猫。 并非因为猫身边大概率有毛线球、猫砂和铲屎官，而够狗没有。 ） 反事实估计与反事实推理是因果推断技术的重要组成部分。 （个人理解）因果推断可以被理解为想要回答，1）what cause（Why）；2）what if。 回答what if，必须基于多种干预下的结果。 而在观测中缺少反事实结果是因果推断的根本问题 。 与估计因果效应不同（这类方法主要解决如何消除偏差以及估计反事实，并基于此判断不同干预下的结果差异），基于因果的机器学习可解释性方法，主要基于反事实来解释，“如果在其他场景（干预）下，模型会做出怎样的决策或判断？”，来展示机器学习模型所学习到的因果关系。
Judea Pearl曾经阐述过不同层次的可解释性，并强调生成反事实的解释是最高层次的。Pearl的可解释性层次大概可以分为如下三层，
在社区已经看到有许多精彩的文章详细阐述了传统的机器学习可解释技术。 本文（系列）将在接下来详细阐述一下基于因果的机器学习可解释性方法。
基于因果的机器学习可解释方法，大致可以分为三类，基于模型的方法，基于样本的方法以及因果关系确认相关方法（由于非重要方向，略去了引用文章中提到的其他部分）。
基于模型的解释方法，主要是从因果效应的角度拆分模型各个部分的作用。 例如，计算深度神经网络中，第n层，第m个神经元的改变带来的平均因果效应。 相比于传统的可解释性方法，这类方法可以回答“神经网络的一个神经元对最终输出结果有多大因果效应？”，以此衡量模型每个组成部分的重要性，并能够给出一定的量化结果。 基于模型的方法大致可以分为两类，估计因果效应和近似结构化。 如上所述，可以通过计算每一个神经元（通常是某个组件，而不是这么细节）在输出变量的因果效应，来确定组件的重要性。 近似结构化的方法，通过生成扰动样本的方法，构建一个二部图，图中定点为输入特征的元素与输出结果的元素，边为元素之间的影响关系。 通过对二部图进行划分，得到输入、输出各个元素之间影响关系比较紧密的子组件，进而解释模型的决策过程和判断依据。
基于样本的解释方法，旨在通过寻找样本示例，来解释模型的决策和判断过程。 反事实样本是在现有事实样本的基础上进行修改，来推断和想象可能的结果。 其中，最典型的方法是反事实解释器（counterfactual explanations）。 该方法是通过在现有样本上的特征上，进行最小改动，并得到预期的反事实结果并，并收集这些经过微小改动的样本，来对模型的决策进行解释。 例如，一个用户从平台流失了。 我们尽可能小的变动他的特征，使得模型预测他为留存。 观察特征变化，并以此为依据进行解释。 这里我们仍然使用了扰动的概念，最小扰动得到的可解释的样本，即反事实估计器。 反事实估计并没有真正对样本进行干预，而是通过模型的预测，模拟了人类的想象，因此处于因果阶梯的第三层。 生成反事实解释器的方法大致可以分为6类，包括启发式方法，加权法，基于多样性的方法，混合整数规划求解法，基于原形的方法，以及基于GAN的方法。 启发式的方法主要利用距离度量来寻找最小扰动，而加权法在距离度量上为每个特征维度分配不同的权重（权重通过ANOVA F-value得到）。 基于混合整数规划的方法，主要应用于特征中有比较多分类特征的场景，其他方法生成的反事实样本，可能为分类特征生成连续值，导致特征不合理，而通过混合整数规划，可以生成合理的反事实样本。 基于原形的方法，通过寻找一个具有反事实结果的目标样本，来确定生成方向，加速生成算法收敛（不能直接选择具有反事实结果的样本，是因为他的扰动可能很大）。 基于GAN存在多种反事实生成方法，较为简单的是基于conditionalGAN，把期望的反事实当做标签，来生成反事实样本。
基于因果推断（反事实样本）的模型可解释性方法已经被越来越多的应用于各个场景。 接下来，我们看两个分别来自于自然语言处理和推荐系统场景的案例。 重复问题识别是问题搜索场景里的重要任务，图中的两个语句被识别为重复的问题。 右侧的条形图是通过SHAP值计算出的单词重要性，可以看到“friend”这个单词的重要性没有排在前面。 通过扰动Q2生成反事实样本，我们发现“How do I help a <woman> who is in depression?”被认为和Q1不是重复的问题。 这表明，“friend”这个单词的（某种）变动会影响模型最终的判断，而这个依据没有被SHAP方法体现出来。 同时，替换重要性排名较高的“depression”和居中的“help”，并没有翻转模型的判断结果，说明SHAP并不（一定）能反映出模型的判断依据，而反事实样本可以。
在商品推荐的场景下同样存在反事实可解释性的需求，例如，当我们看到某个物品被作为top1 candidate推荐给用户时，我们可能想知道是哪些用户行为影响了这个结果，进而能否通过改变一些行为而改变推荐结果。 图中，推荐系统在top1位置被推荐了一个背包。 通过算法识别出的“最小可删除行为集合”（反事实中的最小扰动），可以看出“购买Adidas的登山靴，评论尼康相机为登山好伴侣以及给Intenso充电宝高分评价”让推荐系统决定了把狼爪的背包排在第一位（因为种种迹象表明Alice喜欢远足）。 如果删除这些行为iPad Air的排名会变为top1。
在不同的场景下，因果可解释性方法仍然有可能受限于特定模型，并且存在一些时间复杂度的问题。 此外，还有很多待解决的问题。 后续会介绍一些具体的方法。
下面简单介绍一下，如何评价基于因果机器学习可解释方法，以及对应的评价指标。 不同的类别的解释方法有自己特有的评价准则。 首先介绍一下，基于反事实的可解释性方法的评价准则。 由于没有反事实的ground truth，所以无法直接检验反事实样本的好坏，因此通过启发式定义一些的指标，来确保生成的反事实符合预期，具有预期的性质。
还有其他的一些面向模型可解释方法，以及公平性的评价指标，这些类方法的评价指标仍然是一个待攻克的课题，这里就不一一介绍了，感兴趣的同学可以参考引文。
[1] J. Pearl. Theoretical impediments to machine learning with seven sparks from the causal revolution. CoRR, abs/1801., 2018. [2] Pearl, J., & Mackenzie, D. (2018). The book of why: the new science of cause and effect. Basic books. [3] Cong Wang, Xiao-Hui Li, Han Gao, Shendi Wang, Luning Wang, Caleb Chen Cao, Lei Chen. Counterfactual Explanations in Explainable AI: A Tutorial. Tutorial on ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2021). [4] D. Alvarez-Melis and T. Jaakkola. A causal framework for explaining the predictions of black-box sequence- to-sequence models. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 412–421, Copenhagen, Denmark, Sept. 2017. Association for Computational Linguistics. [6] Wu, T., Ribeiro, M. T., Heer, J., & Weld, D. S. (2021). Polyjuice: Generating Counterfactuals for Explaining, Evaluating, and Improving Models. In Proceedings of the 80 59th Annual Meeting of the Association for Computational Linguistics. [5] Ghazimatin, A., Balalau, O., Saha Roy, R., & Weikum, G. (2020, January). PRINCE: Provider-side interpretability with counterfactual explanations in recommender 88 systems. In Proceedings of the 13th International Conference on Web Search and Data Mining (pp. 196-204).
