推荐项目：FBTT-Embedding——高效稀疏嵌入表压缩利器

2024-05-30 22:59:53作者：何将鹤

This is a Tensor Train based compression library to compress sparse embedding tables used in large-scale machine learning models such as recommendation and natural language processing. We showed this library can reduce the total model size by up to 100x in Facebook’s open sourced DLRM model while achieving same model quality. Our implementation is faster than the state-of-the-art implementations. Existing the state-of-the-art library also decompresses the whole embedding tables on the fly therefore they do not provide memory reduction during runtime of the training. Our library decompresses only the requested rows therefore can provide 10,000 times memory footprint reduction per embedding table. The library also includes a software cache to store a portion of the entries in the table in decompressed format for faster lookup and process.

项目地址：https://gitcode.com/gh_mirrors/fb/FBTT-Embedding

在机器学习的前沿领域，尤其是在推荐系统和自然语言处理中，庞大的嵌入表管理一直是优化计算资源和提升模型效率的一大挑战。针对这一痛点，FBTT-Embedding 应运而生，它通过高效的张量列车（Tensor Train, TT）压缩技术，为研究者和开发者提供了一个强大且灵活的工具库。

项目介绍

FBTT-Embedding 是一个专为压缩在深度学习推荐模型及NLP任务中广泛使用的稀疏嵌入表设计的Python库。它无缝对接PyTorch生态，提供与EmbeddingBag相似的接口，但引入了革命性的压缩机制，旨在减少内存占用而不牺牲性能。此外，其内置软件缓存机制极大地提升了访问速度，减少了频繁的解压与压缩操作，是加速训练和推理的理想选择。

技术剖析

该项目的核心在于张量列车分解，一种将高维张量表示为一系列低秩矩阵乘积的形式，从而实现数据的有效压缩。FBTT-Embedding通过自定义参数如tt_ranks、tt_p_shapes和tt_q_shapes来控制压缩级别和性能平衡点，实现了对嵌入权重的高效管理和快速查询。其独特的软件缓存策略（可通过设置use_cache=True激活），利用LFU算法和开放寻址哈希表维持最常访问项，进一步加速了运行时性能。

应用场景

FBTT-Embedding特别适用于大数据场景下的推荐系统构建、大规模文本分类或情感分析等自然语言处理任务。这些应用往往面临巨大的嵌入表所带来的内存压力，通过该库，开发者可以显著降低服务器硬件要求，同时保持模型训练和预测的高效性。例如，在大规模电商推荐中，通过压缩技术可以加载更多用户的个性化信息，提升推荐精准度，而不必担心内存溢出的问题。

项目亮点

高效压缩: 采用TT分解大幅减小嵌入表的存储需求。
性能不打折: 保持与PyTorch原生EmbeddingBag相近的前向后向传播性能。
融合优化器: 支持稀疏更新与内嵌优化策略，简化分布式训练流程。
智能缓存: 动态缓存策略提高频繁查询效率，优化内存使用。
高度可配置: 灵活的初始化参数满足不同规模和类型的数据集需求。

安装简单，兼容性强，FBTT-Embedding让处理巨量嵌入数据成为可能，尤其适合那些希望在资源有限的环境下推动模型极限的研究人员和工程师。想要在你的推荐系统或NLP应用中尝试前沿的嵌入表管理技术吗？FBTT-Embedding无疑是一个值得深入探索的选择！

该项目不仅仅是一个工具，更是一把解锁大规模机器学习模型潜能的钥匙，等待每一位渴望优化的开发者去开启。立即加入这个开源社区，体验数据密集型应用的新速度与激情吧！

This is a Tensor Train based compression library to compress sparse embedding tables used in large-scale machine learning models such as recommendation and natural language processing. We showed this library can reduce the total model size by up to 100x in Facebook’s open sourced DLRM model while achieving same model quality. Our implementation is faster than the state-of-the-art implementations. Existing the state-of-the-art library also decompresses the whole embedding tables on the fly therefore they do not provide memory reduction during runtime of the training. Our library decompresses only the requested rows therefore can provide 10,000 times memory footprint reduction per embedding table. The library also includes a software cache to store a portion of the entries in the table in decompressed format for faster lookup and process.

项目地址：https://gitcode.com/gh_mirrors/fb/FBTT-Embedding

热门内容推荐

1 开发者路线图项目教程 2 开源项目 developer-roadmap 使用教程 3 Vue.js 教程与指南 4 Vue.js 项目教程 5 探索Vue 2的持久魅力：一个开源项目的深度解析 6 开源项目教程：awesome-selfhosted 7 开源项目 `awesome-selfhosted` 使用教程 8 TensorFlow 开源项目指南 9 TensorFlow：开启机器学习新纪元 10 推荐项目：探索 Linux 内核的奥秘

最新内容推荐

AWS CloudFormation Template Flip 常见问题解决方案 Securitybot 项目常见问题解决方案 ldapdomaindump 项目常见问题解决方案 Sprytile 项目常见问题解决方案开源项目async-rl常见问题解决方案 KittiSeg 项目常见问题解决方案 Phonemizer 项目常见问题解决方案 Satpy 项目常见问题解决方案 mkosi 项目常见问题解决方案 TF-recomm 项目常见问题解决方案

项目优选

收起

旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件，通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求，让密码技术应用更简单，同时探索后量子等先进算法创新实践，构建密码前沿技术底座！

CangjieCommunity

为仓颉编程语言开发者打造活跃、开放、高质量的社区环境

仓颉语言实现的Redis客户端SDK。已适配仓颉0.53.4 Beta版本。接口设计兼容jedis接口语义，支持RESP2和RESP3协议，支持发布订阅模式，支持哨兵模式和集群模式。

Advanced-Java是一个Java进阶教程，适合用于学习Java高级特性和编程技巧。特点：内容深入、实例丰富、适合进阶学习。

为键盘工作者设计的单词记忆与英语肌肉记忆锻炼软件 / Words learning and English muscle memory training software designed for keyboard workers

Elasticsearch 国内Top1 elasticsearch搜索引擎框架es ORM框架,索引全自动智能托管,如丝般顺滑,与Mybatis-plus一致的API,屏蔽语言差异,开发者只需要会MySQL语法即可完成对Es的相关操作,零额外学习成本.底层采用RestHighLevelClient,兼具低码,易用,易拓展等特性,支持es独有的高亮,权重,分词,Geo,嵌套,父子类型等功能...

杨帆测试平台

扬帆测试平台是一款高效、可靠的自动化测试平台，旨在帮助团队提升测试效率、降低测试成本。该平台包括用例管理、定时任务、执行记录等功能模块，支持多种类型的测试用例，目前支持API(http和grpc协议)、性能、CI调用等功能，并且可定制化，灵活满足不同场景的需求。其中，支持批量执行、并发执行等高级功能。通过用例设置，可以设置用例的基本信息、运行配置、环境变量等，灵活控制用例的执行。

Yi Coder 编程模型，小而强大的编程助手

🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本

一个markdown解析和展示的库