探索智能的新境界：Arcee领域适应语言模型工具包

在人工智能和自然语言处理的快速发展中，通用大型语言模型（LLMs）与向量存储之间的鸿沟日益显著。为了弥合这一差距并推动AI系统在特定领域的高效落地，我们欣喜地推出了Arcee Domain Adapted Language Modeling Toolkit（DALM），这是一个面向开发者开放源代码的平台，旨在利用Arcee的预训练领域语言模型（DPT LLMs），让您能够为自己的独特知识产权和世界观定制AI解决方案。

简介：智能定制的未来

DALM工具包提供了强大的基础设施，用于构建基于Arcee团队创建的示例DALMs，如DALM-Patent、DALM-PubMed、DALM-SEC等，以及您自己的个性化DALM。这些模型不仅具备广泛的语言理解能力，更能在专利、医学文献、金融报告等领域展现独特的专长。

技术深度解析

DALM工具包的核心是一个完全可微分的Retrieval Augmented Generation（RAG-end2end）架构的改进版本，首次支持像Llama、Falcon或GPT这样的解码器仅语言模型。通过引入“在批次内负样本概念”和RAG的边缘化，我们优化了整个过程，使其更加高效。

• 在training目录下，您可以找到用于训练RAG-end2end和检索器的代码。
• 对于检索器和生成器的评估，它们被放置在eval文件夹中。
• 还包括数据处理代码和合成数据生成代码在datasets目录下。

应用场景

无论是在研究、法律、医疗还是任何依赖特定领域知识的应用中，DALM都可帮助创建出精确且针对性强的问答系统。例如，在专利检索中，DALM-Patent能快速定位关键信息；在医学研究中，DALM-PubMed则有助于医生快速获取最新学术成果。

项目亮点

• 定制化：利用您的专业知识和数据，创建符合业务需求的专属模型。
• 高效率：得益于RAG-end2end架构和批量负样本概念，训练更快，性能更强。
• 兼容性：支持广泛的Hugging Face嵌入模型和自回归模型。
• 易用性：提供直观的命令行接口和详细的文档，简化开发流程。

开始你的旅程

安装只需一行命令：

pip install indomain

或者克隆仓库进行本地开发，并运行dalm version检查安装正确性。

准备好CSV数据集后，使用dalm qa-gen进行预处理，然后用train-retriever-only和train-rag-e2e脚本开始训练之旅。评估阶段，eval-retriever和eval-rag将助你验证模型效果。

欲知更多详情，查阅项目文档和CONTRIBUTING指南，一起加入Arcee DALM的创新之旅，开启智能应用的新篇章！

GitHub地址 | 开始使用