首页
/ Outlier Exposure:提升深度学习异常检测的利器

Outlier Exposure:提升深度学习异常检测的利器

2024-09-16 10:55:46作者:傅爽业Veleda

项目介绍

Outlier Exposure 是一个用于提升深度学习模型异常检测性能的开源项目。该项目基于论文 Deep Anomaly Detection with Outlier Exposure(ICLR 2019),通过使用分布外的数据集对分类器进行微调,使模型学习到区分异常样本和分布内样本的启发式方法。这些启发式方法能够泛化到新的分布中,从而显著提升异常检测的准确性。

项目代码库中包含了NLP实验以及针对SVHN、CIFAR-10、CIFAR-100和Tiny ImageNet的多类分类和校准实验的代码。此外,项目还提供了80 Million Tiny Images和300K Random Images等异常数据集的下载链接,方便用户进行实验和验证。

项目技术分析

Outlier Exposure 的核心技术在于利用分布外的数据集(Outlier Dataset)对模型进行微调。与传统的异常检测方法(如ODIN)不同,OE方法不需要为每个OOD数据集训练一个单独的模型,也不需要在OOD数据集的“验证”样本上进行调优。这种方法不仅简化了模型的训练流程,还提高了模型的泛化能力。

项目使用了Python 3+和PyTorch 0.4.1+作为开发环境,确保了代码的兼容性和可扩展性。通过可视化的ROC曲线,用户可以直观地评估模型的异常检测性能。

项目及技术应用场景

Outlier Exposure 适用于多种深度学习异常检测场景,特别是在以下领域具有广泛的应用前景:

  • 网络安全:检测网络流量中的异常行为,识别潜在的攻击或入侵。
  • 金融风控:识别交易中的异常模式,预防欺诈行为。
  • 医疗诊断:检测医学影像中的异常区域,辅助医生进行疾病诊断。
  • 工业质检:在生产线上检测产品的缺陷,提高产品质量。

项目特点

  • 高效性:通过一次训练即可适应多种分布外的数据集,无需为每个数据集单独训练模型。
  • 泛化能力强:模型学习到的启发式方法能够泛化到新的数据分布中,适用于多种应用场景。
  • 易于使用:项目提供了详细的代码示例和数据集下载链接,用户可以快速上手进行实验。
  • 开源社区支持:项目代码开源,用户可以自由修改和扩展,同时可以通过社区获取技术支持和反馈。

总之,Outlier Exposure 是一个功能强大且易于使用的开源项目,能够显著提升深度学习模型的异常检测性能。无论你是研究者还是开发者,都可以通过该项目获得实用的技术支持和灵感。快来尝试吧!

登录后查看全文

项目优选

收起
kernelkernel
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
511
551
docsdocs
暂无描述
Markdown
854
5.69 K
ops-transformerops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
1.05 K
2.5 K
kernelkernel
deepin linux kernel
C
33
16
pytorchpytorch
作为 Ascend for PyTorch 社区的核心组件,TorchNPU 是昇腾专为 PyTorch 打造的深度学习适配插件,使 PyTorch 框架能够直接调用昇腾 NPU,为开发者提供昇腾 AI 处理器的超强算力。
Python
840
1.28 K
ops-nnops-nn
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
849
1.71 K
ops-mathops-math
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.25 K
1.38 K
jiuwenswarmjiuwenswarm
JiuwenSwarm 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。
Python
3.34 K
859
AscendNPU-IRAscendNPU-IR
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
511
347
cann-learning-hubcann-learning-hub
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
789
414