作者的图片

想象你正在驾驶一辆自动驾驶汽车，完全依赖车载计算机做出瞬间的决策。它能够检测物体、识别行人，甚至能预测道路上其他车辆的行为。但这里有一个问题：你知道它管用，但你不知道它是如何做到的。如果发生意外情况，没有明确的方式来理解其背后的决策依据。这时候，可解释的人工智能（XAI）就派上用场了。深度学习模型常常被认为像“黑盒子”一样，被广泛应用于各个领域，以实现自动化预测和决策。可解释性就是要把这个盒子打开。我们可以将它视为一种工具，帮助我们不仅了解这些模型在做什么，还了解它们为何做出这样的决定，确保这些系统按预期正常运行。

近年来，XAI领域取得了显著进展，提供了对模型内部运作的见解。随着AI在关键行业的应用变得越来越重要，解决责任归属问题对于保持这些系统的可靠性和信任度至关重要[Göllner & a Tropmann-Frick, 2023，Baker&Xiang, 2023]。这在汽车、航空航天和医疗等高风险应用场景中尤为重要，理解模型决策可以确保其稳健性、可靠性和实时安全操作[Sutthithatip et al., 2022，Borys et al., 2023，Bello et al., 2024]。无论是解释为何某次医疗扫描对特定患者显示为潜在问题，还是识别风力发电风险评估中导致鸟类检测错误的因素，XAI方法都让人们能够了解模型的推理过程。

我们经常听到关于模型的类型及其透明度级别的讨论，但可解释的人工智能系统真正意味着什么？这如何适用于深度学习以优化系统性能并简化维护？但这不仅仅是满足我们好奇心的问题。在本文中，我们将探讨可解释性如何在过去几十年中演变，从而重塑计算机视觉领域的格局，反之亦然。我们将回顾带来我们今天所处状态的关键历史里程碑（第1部分），并对XAI的核心假设、领域应用和行业视角进行分解（第2部分）。我们还将讨论以人为中心的可解释性方法以及不同的利益相关者群体的实际挑战和需求，并讨论建立信任并确保符合监管框架的安全AI部署的方法（第3.1部分）。此外，你还将了解在计算机视觉中常用的XAI方法，并检查这些解释工作得如何的评估指标（第3.2部分）。最后（第4部分）将展示如何有效利用可解释性方法和指标，以增强对细粒度图像分类决策的理解和验证。

在过去的100年里，深度学习和计算机视觉领域经历了塑造现代人工智能的关键里程碑，同时，这些里程碑也推动了对可解释性方法和框架的发展。让我们回顾一下深度学习中可解释性出现前后的重要进展和历史节点，展示它们对视觉领域中XAI演变的影响（时间跨度：1920年代至今）：

• 1924: 德国数学家弗朗茨·布赖西格将电子学中显式使用的四端口元件视为“黑箱”，指的是一个只有端子可见、内部机制隐藏的系统。
• 1943: 沃伦·麦卡洛克和沃尔特·皮茨在他们开创性的工作《神经活动中内在思想的逻辑计算》中提出麦卡洛克-皮茨（MCP）神经元，这是人工神经元的数学模型，奠定了神经网络的基础。
• 1949: 唐纳德·O·赫布引入了赫布学习规则，解释了突触可塑性的一种基本机制，即神经连接会随着使用而增强（一起放电的神经元会连接在一起），因此可以经由学习被重新构建。
• 1950: 阿兰·图灵发表《计算与智能机器》，提出了后来被称作图灵测试的概念，用于判断机器是否能够“思考”。
• 1958: 美国心理学家弗兰克·罗森布拉特在他的文章《感知机：脑内信息存储和组织的概率模型》中提出了感知机，这是第一个被提出的人工神经网络。

图1. Rosenblatt的感知机示意图（来源：Rosenblatt, 1958）.

• 1962: Frank Rosenblatt 引入了反向传播误差纠正，这是计算机学习中的一个基本概念，启发了后续的深度学习工作。
• 1963: 加拿大-阿根廷哲学家和物理学家 Mario Bunge 发表了“通用黑盒理论”，对黑盒理论的发展做出了贡献，并将其定义为“一组具体系统，刺激 S 作用于其上，并从中产生反应 R 的抽象”。
• 1967: 日本工程师和神经科学家 Shunichi Amari 开创了第一个使用随机梯度下降进行非线性可分模式分类的多层感知机。
• 1969: 日本计算机科学家 Kunihiko Fukushima 引入了修正线性单元 (ReLU)，此后成为深度学习中最广泛采用的激活函数。
• 1970: 芬兰数学家和计算机科学家 Seppo Linnainmaa 在他的硕士学位论文中提出了“自动微分的反向模式”，这是反向传播的一个现代变体。
• 1980: 日本计算机科学家 Kunihiko Fukushima 引入了 Neocognitron，这是一种早期的卷积神经网络 (CNN) 深度学习架构，它不使用反向传播进行训练。
• 1989: 法裔美籍计算机科学家 Yann LeCun 提出了 LeNet，这是第一个成功应用反向传播的手写 ZIP 代码识别卷积神经网络架构。
• 1995: Morch 等人引入了显著图，提供了一种揭示深度神经网络内部工作原理的早期可解释性方法。
• 2000年代: 包括 CUDA 的开发，使 GPU 上的并行处理用于高性能科学计算，以及 ImageNet，一个大规模的手动整理视觉数据集，推动了基础和应用人工智能研究的发展。
• 2010年代: 计算机视觉领域的持续突破，例如 Krizhevsky、Sutskever 和 Hinton 的 ImageNet 分类深度卷积网络，推动了各行各业的人工智能普及。随着 CNN 显著性图、LIME、Grad-CAM 和 SHAP 等术语的出现，可解释人工智能 (XAI) 领域蓬勃发展。

_图2. 2014年至2024年ImageNet分类SOTA基准图（来源：Papers with Code）_

• 2020年代： 随着2017年论文《注意力就是你所需要的》的发布，人工智能热潮加速，该论文引入了名为Transformer的编码器-解码器架构，推动了更先进Transformer架构的发展。基于早期的成功案例，如Allen AI的ELMo、Google的BERT和OpenAI的GPT，Transformer在视觉领域也有所应用，进一步加速了多模态研究的发展。2021年，OpenAI推出了CLIP模型，该模型能够从自然语言监督中学习视觉概念，铺平了生成式AI创新的道路，包括DALL-E（2021）、Stable Diffusion 3（2024）和Sora（2024），提升了图像和视频生成能力。
• 2024年： 欧盟《人工智能法》生效，为欧洲的人工智能系统建立了透明度、可靠性及公平性的法律要求。例如，第27条将AI系统的透明度定义为：“应以允许适当的可追溯性和可解释性的方式开发和使用，有助于设计一致性、可信且以人为中心的AI”。

正如我们所见，早期的工作主要集中在基础方法和算法上。随着后来的进步，重点转向了特定领域，如计算机视觉。在20世纪晚期，一些关键概念开始浮现，为未来诸如80年代反向传播训练的CNN等突破奠定了基础。随着时间的推移，可解释的人工智能领域迅速发展，增强了我们对预测背后推理的理解能力，并通过更多的研究和行业应用，使决策更加明智和有根据。随着(X)AI（可解释人工智能）的兴起，焦点转移到了平衡系统效率与可解释性上，帮助大规模理解和集成XAI解决方案，贯穿整个机器学习的生命周期[Bhatt等，2019，Decker等，2023]。实际上，这些技术在过去的二十年里才变得足够实用，得以广泛采用。最近，立法措施和监管框架相继出台，例如欧盟的《人工智能法》（2024年8月）和中国TC260的人工智能安全治理框架（2024年9月）标志着更严格的人工智能开发和部署法规的开始，包括强制执行从部署者那里获取关于AI系统在决策过程中的作用和所做决策的主要元素的清晰且有意义的解释的权利（第86条，2026年）。在这里，XAI可以大展身手。然而，尽管经过多年的严格研究和对可解释性的日益重视，这一主题似乎已经淡出了人们的视野。真的是这样吗？现在，让我们从整体角度来审视这一切。

现在是科技界一个令人兴奋的时代。上世纪90年代，Gartner提出了一个称为“炒作曲线”的概念，用来描述新兴技术随时间演变的过程——从最初的火花般的兴趣到实际应用。根据这种方法，技术通常开始于技术创新引爆点（称为“技术触发”），随后是兴奋感的急剧上升，达到“期望膨胀顶点”。然而，当技术未能如预期般交付时，它会跌入“幻灭的低谷”，此时热情消退，人们感到失望。这一过程可以被描述为迅速上升后跌落，然后逐渐稳定并进入一个可持续的平台期，即所谓的“生产效率高原”。后者意味着，随着时间的推移，技术可以变得真正具有生产力，即使炒作已经消退。

图3. 2024年Gartner技术炒作周期（来源：Gartner报告）

看看过去那些被吹捧为解决一切问题的技术——智能代理、云计算、区块链、脑机接口、大数据，甚至深度学习。它们都在科技界占据了显赫的地位，但当然没有一个真正成为万能的解决方案。如今关于可解释性的话题也是如此。我们一次又一次地看到历史重演。正如 Gartner 2024 年 AI 技术炒作周期（图 3）所指出的，负责任的人工智能（RAI）正在获得重视和关注，预计在未来五年内达到成熟阶段。可解释性为负责任的人工智能实践提供了基础，确保透明性、问责制、安全性及公平性。

下图概述了XAI的研究趋势和应用，这些内容基于2018年至2022年间发表的科学文献，涵盖了XAI领域的各种概念，包括“可解释人工智能”、“解释性人工智能”和“负责任人工智能” __[Clement等, 2023]。图4a根据元综述的结果概述了关键的XAI研究领域，具体如下：最大的关注点（44%）是设计可解释性方法，其次是15%的XAI在特定应用场景中的应用。领域特定研究（如金融领域）占12%，较小的领域——需求分析、数据类型、人机交互等各自约占5-6%。

图4. XAI研究的视角（a）和应用领域（b）（来源：图中所示Clement等人，2023 )

紧邻其侧的是常见的应用领域（图4b），其中头部健康管理占主导地位（23%），由建立信任和支持决策的需求所驱动。工业4.0（6%）以及安全（4%）紧随其后，可解释性被应用于工业优化和欺诈检测之中。还包括自然科学、法律研究、机器人技术、自动驾驶、教育和社会科学[Clement等, 2023，陈等，2023，Loh等, 2022]。随着XAI向可持续状态发展，研究与开发越来越侧重于解决公平性、透明度和责任感的问题[Arrieta等, 2020，负责任AI研究所标准，斯坦福AI指数报告]。这些维度对于确保公平的结果、澄清决策过程以及为这些决策建立责任至关重要，从而增强用户信心并使其更加信任，并与监管框架和行业标准保持一致，以确保合规性。反映过去技术进步的轨迹，XAI的发展凸显了构建AI驱动解决方案的挑战与机遇，这使其成为负责任AI实践中的重要元素，增强了AI在实际应用中的长期相关性和实用性。

这里有一种对AI系统的普遍看法：你输入数据，然后有一个黑盒在处理这些数据，产生一个输出，但我们无法查看系统的内部运作。但这真的是这样吗？随着AI的不断普及，开发可靠、可扩展且透明的系统变得越来越重要。简单来说：可解释性AI的概念可以描述为让输入和输出之间的过程更透明。广义而言，可以将其视为一系列方法，使我们能够构建出我们期望的结果的系统。实际上，模型理解就是让用户能够理解模型行为的能力。这种理解在各行各业的应用中非常重要，包括：

• 模型调试和质量保证（例如制造、机器人技术）；
• 确保系统对最终用户的安全和信任（医学、金融）；
• 通过识别模型可能出错的情境来提高系统性能（银行中的欺诈检测、电子商务）；
• 增强系统对抗对手的鲁棒性（比如黑客，网络安全、自动驾驶汽车）；
• 解释决策过程（金融中的信用评分评估、法律中的司法决策）；
• 检测数据标注错误和其他问题（零售中的客户行为分析、医疗中的医学影像）。

随着AI的广泛应用，它已经渗透到了各个领域和风险应用场景中。而这里的关键在于：人类的理解与模型的理解并不相同。虽然AI模型处理信息的方式对人类来说并不直观，不容易理解，而XAI的主要目标之一就是创建能够有效传达其推理过程、使人类可以理解的系统——换句话说，就是用人类可以理解的语言来“解释”。那么问题来了，我们如何才能缩小模型“知道”的内容和人类如何理解其输出之间的差距呢？

可解释的人工智能不仅仅是关于解释模型，而是使机器能够通过传递知识和信息有效地支持人类。为了应对这些方面，可以思考如何将可解释性与人工智能生态系统中的各种角色和利益相关者的期望联系起来。这些群体通常包括用户、开发人员、部署者、受影响方和监管者[Leluschko&Tholen,2023]。因此，他们所期望的功能和结果也各不相同，表明可解释性需要满足各种需求。在Langer等人，2021的研究中强调，理解能力在解决认知方面的角色至关重要，指的是利益相关者评估系统是否满足其期望（如公平性和透明性）的能力。图5呈现了从可解释方法到满足利益相关者需求的概念路径，这反过来又影响其期望的实现程度。那么，什么样的解释才算是“好”的解释呢？该研究认为，良好的解释不仅应该准确、具有代表性，并且在系统及其功能上具有情境特定性，还应该符合社会伦理和法律规范，这些规范对于证明某些期望可能是决定性的因素。例如，在像医学诊断这样的高风险场景中，为了校准信任，可能需要更深入的解释[Saraswat等人，2022]。

_图5：可解释性与相关方的需求之间的关系（来源：Langer等，2021)

在这里，我们可以这样说，XAI（可解释的人工智能）作为技术的成功，取决于它在多大程度上通过解释性信息促进人类的理解，强调了在利益相关者之间谨慎权衡的必要性。例如，对于领域专家和用户（如医生、法官、审计员）来说，他们需要解读和审计人工智能系统的输出来做出决策，确保解释结果简洁明了且具有领域特定性，以符合专家的直觉，同时避免信息过载，这对人机协作的应用尤为重要。这里，挑战可能源于不确定性以及输入与输出之间缺乏明确的因果关系，这可以通过针对特定应用场景的局部事后解释来解决这一问题[Metta et al., 2024]。受影响群体（如求职者、患者）是受人工智能决策影响的个人，其中关键的问题在于公平性和伦理，尤其是在招聘或医疗等情境下。在这里，解释性方法可以帮助识别决策过程中导致偏见的因素，从而减轻或消除这些偏见[Dimanov et al., 2020]。同样，监管者可能希望确定系统是否对任何群体存在偏见，以确保符合伦理和监管标准的要求，特别是在高风险应用中，重点关注透明度、可追溯性和非歧视性[Gasser & Almeida, 2017, Floridi et al., 2018, 《2024 年欧盟人工智能法案》]。

图6. 机器学习生命周期过程中的解释性（来源：Decker等人，2023）

对于采用人工智能的企业和组织来说，挑战可能在于确保负责任地部署，符合法规和行业标准的同时保持用户信任[Ali et al., 2023, Saeed & Omlin, 2021]。在此背景下，特别有效的做法是使用全局解释并把可解释的人工智能技术整合到机器学习生命周期中（见图6）[Saeed & Omlin, 2021,微软负责任AI标准v2通用要求,谷歌负责任AI原则]。总体而言，无论是监管者还是部署者，都希望理解整个系统以减少难以置信的边界情况。对于从业者（例如开发人员和研究人员），在构建和维护AI系统时，他们可能对利用XAI工具来诊断和改进模型性能，同时增强可解释性界面感兴趣[Bhatt et al., 2020]。然而，这些工具可能带来高昂的计算成本，使得大规模部署具有挑战性，因为这些工具可能带来高昂的计算成本。在这种情况下，XAI开发工具包可以包括开源和专有工具包、框架和库，例如PyTorch Captum，Google Model Card Toolkit，微软负责任AI工具箱，IBM AI Fairness 360，以确保从开发到部署再到之后的系统都是安全、可靠和值得信赖的。

而且正如我们所见——一刀切的方法并不适合所有人。一个持续的挑战在于，为不同利益相关者提供既准确又有意义的解释，同时在实际应用中平衡透明度和可操作性 [Islam等人，2022，Tate等人，2023，Hutsen等人，2023]。让我们从更实用的角度来谈谈XAI。

随着AI系统的快速发展，现代方法在复杂任务（如图像分类任务，如图2所示）上表现出显著的性能提升，超越了早期依靠手工设计算法进行视觉特征提取和检测的传统图像处理技术[Sobel和Feldman, 1973, Canny, 1987]。虽然现代深度学习架构本身不具备可解释性，但已经提出了各种解决方案来为给定输入提供模型行为的解释，从而弥合了人类理解和机器处理之间的鸿沟。在深度学习突破之后，各种XAI方法相继出现，旨在增强计算机视觉中的可解释性。专注于图像分类和物体检测应用，下图（图7）展示了过去几十年间开发的几种常用的XAI方法：

图7. 针对计算机视觉的可解释方法（作者供图）

XAI方法可以根据其方法论分为基于反向传播和基于扰动的方法，可以分为局部和全局解释。在计算机视觉领域，这些方法或它们的组合被用来揭示模型预测背后的决策准则。基于反向传播的方法将信号从输出传播到输入，为前向传递过程中计算的每个中间值分配权重。然后，一个梯度函数更新模型中的每个参数，以使输出与实际情况一致，因此这些技术也被称为基于梯度的方法。具体示例包括显著性图（例如Simonyan等人2013年的工作）、集成梯度[Sundararajan等，2017]、Grad-CAM[Selvaraju等，2017]。相比之下，基于扰动的方法通过诸如遮挡等技术修改输入，评估这些微小变化对网络输出的影响。与基于反向传播的方法不同，扰动技术不需要梯度，因为单次前向传递就足以评估输入变化对输出的影响。

对于“黑箱”架构，可解释性通常是通过在模型训练完成后使用的外部解释方法实现的（例如，CNN中的梯度）。相比之下，“白箱”架构在设计上是可解释的，其可解释性可以在模型训练过程中作为副产品实现。比如说，在线性回归模型中，求解线性方程组得到的系数可以直接作为输入特征权重。然而，虽然在线性回归模型中特征的重要性和贡献更容易理解，但在更复杂的任务和高级架构中，输入和输出之间的关系高度非线性，因此需要外部方法来理解并验证哪些特征对预测具有最大影响。不过，用线性回归来做计算机视觉任务是不可行的。

评估解释结果至关重要，以确保通过模型得出的见解及其通过可解释性接口向最终用户呈现的过程有意义、有用且可信[Ali et al., 2023, Naute et al., 2023]。随着XAI方法的多样化，系统性评估和比较的需求日益增长，逐渐放弃主观的“看到即知”的方法.为应对这一挑战，研究人员设计了多种算法和基于用户的评估技术，以及框架和分类体系，以捕捉解释的主观、客观、定量和定性属性[Doshi-Velez & Kim, 2017，Sokol & Flach, 2020]。可解释性是一个连续体，而非二元特征，其有效性可以通过评估某些属性是否被满足的程度来量化。一种分类XAI评估方法的方式是基于所谓的Co-12属性[Naute et al., 2023]，这些属性按内容、展示和用户体验三个维度进行分组，如表1中总结的。

_表1. Co-12解释质量特性（评估用）（来源：Naute等，2023）_

在更细粒度的层面上，XAI（可解释的人工智能）的定量评估方法可以纳入诸如准确性、稳定性、真实性及明确度等指标[Alvarez-Melis & Jaakkola, 2018，Agarwal et al., 2022，Kadir et al., 2023]，从而能够衡量解释的内在质量。准确性衡量解释与模型行为的一致性，重点关注选定特征对于目标类别预测的重要性。Qi等人在2020年[Qi et al., 2020]展示了使用集成梯度进行特征重要性分析的方法，强调生成忠实于模型行为的表示。稳定性指的是解释在类似输入下的一致性。Ribeiro等人在2016年的LIME研究[Ribeiro et al., 2016]强调了稳定性在生成可靠解释中的重要性，在输入略有变化时不会发生显著变化。真实性反映了解释在多大程度上反映了模型的决策过程。Doshi-Velez和Kim在2017年的框架中强调了可解释性机器学习的真实性[Doshi-Velez & Kim, 2017]，认为对于可信赖的AI系统至关重要。明确度指的是解释的易理解性。Alvarez-Melis和Jaakkola在2018年[Alvarez-Melis & Jaakkola, 2018]讨论了通过自解释神经网络(SENN)的解释性稳健性，这些网络同时追求明确性、稳定性和准确性。

为了连接这些概念，正确性特性，如表1所述，指的是解释相对于被解释模型的忠实度，表明解释反映了黑盒实际行为的忠实程度。这一属性与模型的预测准确性有所区别，而是描述了XAI方法相对于模型功能的描述[Naute等, 2023, Sokol和Vogt, 2024]。理想情况下，解释应该是完全真实，因此，高正确性是期望的。通过删除得分方法可以获得忠实度[Won等, 2023]，通过计算归一化曲线下的面积来表示两个特征重要性函数之间的差异：一个是通过从最不相关的特征开始逐步移除特征（LeRF）并在每个步骤评估模型性能构建的函数；另一个函数则以随机顺序删除特征（随机顺序——RaO）。计算两种类型的曲线的数据点从提供给模型完整的图像开始，并继续逐步删除重要性低于某个阈值的像素（重要性由归因方法分配）。更高的得分意味着当删除冗余特征时，模型更好地保留了重要信息（公式1）。

公式1. 通过删除评估特征的重要性，计算忠实度指标（图片由作者提供）

另一种评估准确性的方法是通过插入特征来评估其重要性，类似于上述描述的方法，但通过逐渐向模型展示归属技术识别的最相关的图像区域。这里的要点是：包含这些重要特征并观察其影响。在演示中，我们将探索定性和定量的方法来评估模型的解释。

在细粒度分类任务中，例如区分不同类型的车辆或识别鸟类种类时，视觉上的细微差异会显著影响模型的预测结果。确定模型的决策过程哪些特征最重要可以帮助揭示误分类的问题，从而有助于在特定任务上优化模型的表现。为了展示如何将可解释性有效应用于深度学习模型的视觉任务，我们将考虑一个鸟类分类的用例。鸟类种群是生物多样性的重要指标，因此收集物种在不同环境背景下的互动数据对于生态学家来说非常重要[Atanbori et al., 2016]。此外，自动化鸟类监测系统也可以惠及风力发电厂的生产商，因为建设需要在设计阶段进行初步的碰撞风险评估与缓解[Croll et al., 2022]。这一部分将展示如何应用XAI方法和度量来提高鸟类分类模型的可解释性（更多信息请参阅相关文章和教程）。

图8展示了使用在ImageNet上预训练并在Caltech-UCSD Birds-200–2011数据集上进行微调的ResNet-50进行细粒度的图像分类的特征重要性分析结果。针对Guided Grad-CAM 方法进行了定性评估，以评估所选特征对模型的重要性。定量的XAI指标包括通过删除测试得到的忠实度（FTHN），较高的值表示更好的忠实度。此外，还包括反映非鲁棒性与不稳定性程度的指标，如最大敏感度（SENS）和不忠实度（INFD），其中较低的值更佳。这些后者的指标是基于扰动的，并依赖于解释应能承受输入数据或模型本身的小幅度变化这一假设[Yeh et al., 2019]。

图8. 对细粒度图像识别中的可解释性指标进行评价（图片来源：作者）

在对我们模型在独立测试的Northern Cardinal图像上进行评估时，我们注意到，在最初的几次迭代中评分有轻微变化，但在最终迭代中突然增加，这反映了随着模型逐步纳入最关键的特征（如图8所示），评分的变化更加显著。这些结果表明了模型对于所评估的XAI方法的忠实度的两个关键解释。首先，基于归因的解释方法对模型是忠实的，因为在将确定为冗余的区域（LeRF的90%，横轴）添加进去后，模型的评分几乎没有变化（小于0.1的预测概率评分）。这表明模型在预测时并未依赖这些区域，这与模型对识别出的最相关的10%特征的依赖形成对比。另一个类别——鲁棒性——指的是模型对小输入变化的抵抗力。在这里，我们可以看到，大约90%原始图像的变化对整体模型性能影响很小，尽管大多数像素发生了变化，目标概率评分仍然基本保持不变，这表明模型具有良好的稳定性和泛化能力。

为进一步评估我们的模型的鲁棒性，我们计算了额外的指标，例如灵敏度和不准确性[Yeh等, 2019]。结果表明，虽然模型对输入的小扰动不过非常敏感（灵敏度（SENS=0.21）），但对重要区域的修改可能会影响模型的决策，特别是在前10%的情况下的影响（图8）。为了更深入地评估我们模型的解释的敏感性，我们可以进一步扩展可解释性方法的列表，例如使用集成梯度和SHAP[Lundberg和Lee, 2017]。此外，为了评估模型对对抗攻击的耐受能力，下一步可能包括量化进一步的鲁棒性指标[Goodfellow等, 2015, Dong等, 2023]。

本文提供了对过去几十年间发表的科学文献的全面概述，涵盖了深度学习和计算机视觉领域的重要进展，这些进展奠定了该领域XAI研究的基础。回顾近期的技术进步和该领域的视角，我们讨论了XAI在新兴的人工智能监管框架和负责任人工智能实践中的潜在影响，预见到可解释性在未来将变得越来越重要。此外，我们还探讨了应用领域，并研究了利益相关者群体及其需求，提出了实用建议，以帮助解决当前挑战并满足创建可靠和可信的人工智能系统的需求。我们还涵盖了可解释性相关的基础概念和分类，以及在视觉领域常用的方法和手段，并讨论了用于评估事后解释的定性和定量指标。最后，为了展示如何利用可解释性来更好地理解深度学习模型，最后一部分介绍了一个案例，在此案例中，XAI方法和指标被有效应用于细粒度分类任务中，以识别影响模型决策的关键特征，并进行了定量和定性的结果评估，以验证解释与模型推理的一致性，从而确保解释的有效性和可靠性。

在即将发表的文章中，我们将进一步讨论可解释性的话题及其实际应用，重点是如何利用XAI在设计中优化模型性能并减少分类错误。想继续跟进吗？请参阅这里获取更多内容：https://github.com/slipnitskaya/computer-vision-birds 和 https://medium.com/@slipnitskaya 获取更多信息。