Hopular：革新表格数据的现代Hopfield网络

在机器学习领域，深度学习（Deep Learning）在处理图像和自然语言等结构化数据方面表现出色，但在表格数据（Tabular Data）上的表现却未能达到预期。传统的支持向量机（SVM）、随机森林（Random Forests）和梯度提升（Gradient Boosting）等方法在表格数据上表现优异，尤其是梯度提升方法。尽管近年来出现了许多针对表格数据的深度学习方法，但在小规模数据集上，这些方法仍然无法超越梯度提升。

为了解决这一问题，来自约翰内斯·开普勒大学林茨分校的研究团队提出了一种名为Hopular的新型深度学习架构。Hopular专为中小规模数据集设计，每一层都配备了连续的现代Hopfield网络。这些网络利用存储的数据来识别特征-特征、特征-目标以及样本-样本之间的依赖关系。Hopular的创新之处在于，每一层都可以直接访问原始输入以及整个训练集，从而能够在每一层逐步更新当前模型和预测结果，类似于标准的迭代学习算法。

项目介绍

Hopular的核心思想是通过现代Hopfield网络来捕捉表格数据中的复杂依赖关系，从而在中小规模数据集上实现超越传统方法的性能。该项目的研究团队在多个实验中验证了Hopular的有效性，结果表明，在少于1000个样本的小规模数据集上，Hopular不仅超越了梯度提升、随机森林和SVM，还优于多种深度学习方法。而在约10000个样本的中等规模数据集上，Hopular的表现也优于XGBoost、CatBoost、LightGBM以及一种专为表格数据设计的最新深度学习方法。

项目技术分析

Hopular的技术实现基于PyTorch Lightning框架，这是一个用于简化深度学习模型训练的高级库。通过PyTorch Lightning，Hopular能够高效地管理训练过程，并支持多种操作系统和Python版本。

Hopular的架构设计充分利用了现代Hopfield网络的存储和检索能力，使得每一层都能直接访问原始输入和整个训练集。这种设计不仅增强了模型的表达能力，还提高了训练效率。此外，Hopular支持两种操作模式：list用于显示各种信息，optim用于使用指定的超参数优化模型。

项目及技术应用场景

Hopular特别适用于以下场景：

1. 中小规模表格数据集：在数据量有限的情况下，Hopular能够提供比传统方法和现有深度学习方法更优的性能。
2. 需要捕捉复杂依赖关系的任务：例如，在金融风险评估、医疗诊断和推荐系统等领域，Hopular能够更好地捕捉特征之间的复杂关系。
3. 快速原型开发：由于Hopular基于PyTorch Lightning，开发者可以快速搭建和测试模型，加速原型开发过程。

项目特点

• 高性能：在中小规模数据集上，Hopular的性能显著优于传统方法和现有深度学习方法。
• 灵活性：支持多种操作模式和自定义超参数，方便开发者根据具体需求进行调整。
• 易用性：基于PyTorch Lightning，简化了模型的训练和管理过程，降低了使用门槛。
• 开源：项目采用MIT许可证，允许自由使用、修改和分发。

结语

Hopular为处理表格数据提供了一种全新的深度学习解决方案，尤其适用于中小规模数据集。通过现代Hopfield网络的强大能力，Hopular不仅在性能上超越了传统方法，还为开发者提供了一个高效、灵活且易用的工具。如果你正在寻找一种能够有效处理表格数据的深度学习方法，Hopular无疑是一个值得尝试的选择。

项目地址：https://github.com/ml-jku/hopular

论文地址：https://arxiv.org/abs/2206.00664