探索透明化的模型解释：OpenXAI——你的AI可解释性评估利器

2024-05-30 06:42:32作者：农烁颖Land

OpenXAI 是首个轻量级的通用库，专注于系统性地评估基于特征解释方法的模型解释质量。这个开源项目支持新数据集（合成与现实世界）和解释方法的开发，强调在可复现、透明的评价中推动AI可解释性研究的进步。

OpenXAI 提供了丰富多样的高风险数据集、模型以及评估指标，并通过简单易用的API接口，使研究人员和实践者只需几行代码即可进行解释方法的基准测试和比较。

更新动态

0.0.0: OpenXAI 正式上线！现在，你可以提交结果，用于对比后验解释方法在特定评价指标上的表现。查看快速入门指南！
OpenXAI 的白皮书已发布于 arXiv！

OpenXAI 独特特性

跨领域的XAI研究: 包含7种最先进的特征归因方法以及22个量化性能的指标。此外，提供了灵活的合成数据生成器，可以生成各种规模、复杂度和维度的数据集，以构造地面真实解释。
数据功能: 提供广泛的数据函数，包括数据评估器、有意义的数据分割、解释方法和评价指标。
排行榜: 提供第一个公共的AI解释排行榜，促进透明度，让用户轻松比较多个解释方法的表现。
开源倡议: 开源项目，易于扩展。

安装

使用 pip 可以轻松安装 OpenXAI 到本地环境：

pip install -e .

OpenXAI 设计理念

OpenXAI 是一个开放源代码生态系统，包括为XAI准备的数据集、状态-of-the-art的解释方法实现、评价指标、排行榜和文档，旨在推动解释方法的透明和比较。它能够用来基准测试新的解释方法，并将其整合到框架和排行榜中。通过系统化且高效地评估现有和新的解释方法，OpenXAI 能够指导并加速AI可解释性领域的研究进展。

OpenXAI 数据加载器

OpenXAI 提供 DataLoader 类，用于加载内置或自定义的数据集，确保它们对XAI就绪。具体来说，该类接受现有的OpenXAI数据集名称或.csv文件名作为输入，输出可供训练模型的训练集，生成模型局部解释的测试集，以及如果有的话，地面真实解释。如果数据集已经预设了训练和测试切分，它将从这些切分加载。否则，它会随机将整个数据集分为70%的训练集和30%的测试集。用户还可以自定义训练/测试拆分的比例。

以下示例说明如何导入 DataLoader 类并加载现有的OpenXAI数据集：

from openxai.dataloader import return_loaders
loader_train, loader_test = return_loaders(data_name='german', download=True)
# 获取测试数据集中一个输入实例
inputs, labels = iter(loader_test).next()

OpenXAI 预训练模型

我们还预训练了两类预测模型（例如，不同复杂程度的深度神经网络和逻辑回归模型），并将它们集成到OpenXAI框架内，以便用于基准测试解释方法。以下代码片段展示了如何使用我们的 LoadModel 类加载OpenXAI的预训练模型：

from openxai import LoadModel
model = LoadModel(data_name= 'german', ml_model='ann', pretrained=True)

向OpenXAI框架添加更多预训练模型很简单，只需上传关于模型架构和参数详细信息的特定模板文件。用户也可以填写简单的表单，提供有关模型架构和参数的详细信息，请求将自定义预训练模型集成到OpenXAI框架中。

OpenXAI 解释器

所有包含在OpenXAI中的解释方法都可通过 Explainer 类直接访问，用户只需要指定方法名称，就可以调用相应的方法生成解释。用户可以通过扩展 Explainer 类并在 get_explanations 函数中包含他们的方法代码，轻松将自己的自定义解释方法集成到OpenXAI框架中。

from openxai import Explainer
exp_method = Explainer(method= 'lime',model=model, dataset_tensor=inputs)
explanations= exp_method.get_explanation(inputs, labels)

用户可以通过填写表格，提供他们方法的GitHub链接和方法概述，请求将自定义方法纳入OpenXAI库。

OpenXAI 评估

使用评估指标进行基准测试非常简单。以下代码片段描述了如何调用RIS指标。用户可以通过填写表格，提供其指标的GitHub链接和指标概述，轻松将自定义评估指标纳入OpenXAI。请注意，代码应以接受数据实例、相应模型预测、它们的解释、OpenXAI的模型对象作为输入并返回数值分数的函数形式提供。

from openxai import Evaluator
metric_evaluator = Evaluator(input_dict, inputs, labels, model, exp_method)
score = metric_evaluator.evaluate(metric='RIS')