首页
/ FlagEmbedding项目中的M3-Embedding训练细节解析

FlagEmbedding项目中的M3-Embedding训练细节解析

2025-05-24 11:57:21作者:宗隆裙

训练阶段与参数配置

FlagEmbedding项目中的M3-Embedding模型采用了分阶段训练策略,包含预训练和微调两个主要阶段。在预训练阶段,模型在大规模无监督数据上进行训练,最大序列长度设置为512(查询)和8192(段落),学习率为5×10⁻⁵,权重衰减为0.01,预热比例为0.1。整个预训练过程共进行25,000步训练,相当于1个完整的数据周期(epoch)。

微调阶段设计

微调阶段采用了更为精细的训练策略,分为两个子阶段:

  1. 预热阶段:共进行6,000步训练,相当于2个epoch。其中第一个epoch专注于密集嵌入(dense embedding)的训练,第二个epoch则同时训练稀疏嵌入(sparse embedding)和多向量表示(multi-vectors)。
  2. 统一微调阶段:在预热完成后,进行1个epoch的统一训练,采用自知识蒸馏(self-knowledge distillation)方法。

训练资源分配

项目采用了分布式训练策略,预训练阶段使用了96块A800(80GB)GPU,而微调阶段则使用了24块相同规格的GPU。这种资源分配策略体现了不同训练阶段对计算资源的需求差异。

批处理策略

项目针对不同长度的序列采用了差异化的批处理策略。具体来说,根据序列长度范围(如0-500、500-1000等)设置了不同的批大小,这种细粒度的批处理策略有助于提高训练效率和模型性能。在微调阶段,每个查询采样7个负样本,进一步优化了对比学习的效果。

技术实现要点

项目通过特定的参数设置实现了不同嵌入类型的分离训练。这种模块化训练方式允许开发者根据需求灵活调整训练重点,无论是密集嵌入、稀疏嵌入还是多向量表示,都可以通过参数配置进行独立或联合训练。这种设计既保证了训练的灵活性,又确保了最终模型的多功能性。

M3-Embedding的这种训练策略设计充分考虑了多语言、多功能和多粒度文本嵌入的需求,通过分阶段、模块化的训练方式,最终实现了高质量的通用文本嵌入表示。

登录后查看全文
热门项目推荐

项目优选

收起
kernelkernel
deepin linux kernel
C
22
6
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
139
1.91 K
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
73
63
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
344
1.29 K
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
921
551
PaddleOCRPaddleOCR
飞桨多语言OCR工具包(实用超轻量OCR系统,支持80+种语言识别,提供数据标注与合成工具,支持服务器、移动端、嵌入式及IoT设备端的训练与部署) Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)
Python
47
1
easy-eseasy-es
Elasticsearch 国内Top1 elasticsearch搜索引擎框架es ORM框架,索引全自动智能托管,如丝般顺滑,与Mybatis-plus一致的API,屏蔽语言差异,开发者只需要会MySQL语法即可完成对Es的相关操作,零额外学习成本.底层采用RestHighLevelClient,兼具低码,易用,易拓展等特性,支持es独有的高亮,权重,分词,Geo,嵌套,父子类型等功能...
Java
36
8
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
193
273
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
59
16