PEFT项目新增Bone方法：一种超越PISSA的高效参数微调技术

Bone方法概述

Bone(BLOCK AFFINE)是一种全新的参数高效微调(PEFT)方法，由研究人员在最新论文中提出。与现有的LoRA系列方法不同，Bone采用了一种创新的网络结构设计，在多项基准测试中表现优异，甚至超越了当前先进的PISSA方法。

技术特点与优势

Bone方法的核心在于其独特的块仿射变换结构。与传统的LoRA方法相比，Bone在以下几个方面展现出明显优势：

1. 性能表现：在数学推理等复杂任务上，Bone的准确率显著高于标准LoRA方法。测试数据显示，在相同参数设置下，Bone的性能提升可达数倍。

2. 内存效率：虽然训练过程中需要启用checkpointing技术来优化内存使用，但与同样需要checkpointing的大模型LoRA训练相比，Bone在速度上并无明显劣势。

3. 结构创新：Bone完全摒弃了LoRA系列的设计思路，采用了一种全新的参数化方式，为PEFT领域带来了新的研究方向。

实现与验证

研究人员已经完成了Bone方法的完整实现，并在多个标准数据集上进行了验证测试。实验设置严格保持一致性，确保与PISSA、LoRA等方法在相同条件下进行比较。

值得注意的是，在数学推理任务(math)上的测试中，标准LoRA方法表现异常低下，而Bone和PISSA则保持了稳定的高性能。这一现象可能与不同方法对复杂逻辑推理任务的适应性差异有关。

技术挑战与解决方案

Bone方法在实现过程中面临的主要挑战是训练时的高内存消耗。研究团队通过以下方式解决了这一问题：

1. checkpointing技术：在训练大型模型(如12B参数规模)时启用checkpointing，有效降低了内存峰值需求。

2. 结构优化：对中间计算结果进行特殊处理，平衡了计算效率和内存占用。

未来展望

Bone方法的加入将进一步丰富PEFT工具库，为用户提供更多高效微调的选择。该方法特别适合以下场景：

• 需要处理复杂推理任务的应用
• 资源受限但追求高性能的微调需求
• 对新型PEFT方法有研究兴趣的学术工作

随着更多实践验证和优化，Bone有望成为继LoRA、PISSA之后又一个广泛应用的参数高效微调技术。