推荐项目：FBTT-Embedding——高效稀疏嵌入表压缩利器

2024-05-30 22:59:53作者：何将鹤

FBTT-Embedding

This is a Tensor Train based compression library to compress sparse embedding tables used in large-scale machine learning models such as recommendation and natural language processing. We showed this library can reduce the total model size by up to 100x in Facebook’s open sourced DLRM model while achieving same model quality. Our implementation is faster than the state-of-the-art implementations. Existing the state-of-the-art library also decompresses the whole embedding tables on the fly therefore they do not provide memory reduction during runtime of the training. Our library decompresses only the requested rows therefore can provide 10,000 times memory footprint reduction per embedding table. The library also includes a software cache to store a portion of the entries in the table in decompressed format for faster lookup and process.

在机器学习的前沿领域，尤其是在推荐系统和自然语言处理中，庞大的嵌入表管理一直是优化计算资源和提升模型效率的一大挑战。针对这一痛点，FBTT-Embedding 应运而生，它通过高效的张量列车（Tensor Train, TT）压缩技术，为研究者和开发者提供了一个强大且灵活的工具库。

项目介绍

FBTT-Embedding 是一个专为压缩在深度学习推荐模型及NLP任务中广泛使用的稀疏嵌入表设计的Python库。它无缝对接PyTorch生态，提供与EmbeddingBag相似的接口，但引入了革命性的压缩机制，旨在减少内存占用而不牺牲性能。此外，其内置软件缓存机制极大地提升了访问速度，减少了频繁的解压与压缩操作，是加速训练和推理的理想选择。

技术剖析

该项目的核心在于张量列车分解，一种将高维张量表示为一系列低秩矩阵乘积的形式，从而实现数据的有效压缩。FBTT-Embedding通过自定义参数如tt_ranks、tt_p_shapes和tt_q_shapes来控制压缩级别和性能平衡点，实现了对嵌入权重的高效管理和快速查询。其独特的软件缓存策略（可通过设置use_cache=True激活），利用LFU算法和开放寻址哈希表维持最常访问项，进一步加速了运行时性能。

应用场景

FBTT-Embedding特别适用于大数据场景下的推荐系统构建、大规模文本分类或情感分析等自然语言处理任务。这些应用往往面临巨大的嵌入表所带来的内存压力，通过该库，开发者可以显著降低服务器硬件要求，同时保持模型训练和预测的高效性。例如，在大规模电商推荐中，通过压缩技术可以加载更多用户的个性化信息，提升推荐精准度，而不必担心内存溢出的问题。