开源项目推荐：OpenLLaMA

项目基础介绍

OpenLLaMA 是由 CSDN 公司开发的 InsCode AI 大模型团队推出的一项开源项目。该项目是一个基于 Python 语言的开源复制品，旨在重现 Meta AI 的 LLaMA 大型语言模型。OpenLLaMA 提供了一系列经过训练的模型，包括 3B、7B 和 13B 规模的版本，这些模型都是在不同数据集上训练而成。

主要编程语言

• Python

核心功能

OpenLLaMA 的核心功能是提供一种可替代 Meta AI 的 LLaMA 模型的开源复制品。主要特点包括：

• 模型权重可以作为现有 LLaMA 实现中的即插即用替代品。
• 提供了 PyTorch 和 JAX 格式的预训练模型权重。
• 提供了模型评估结果以及与原始 LLaMA 模型的比较。
• 模型遵循 Apache-2.0 开源协议，允许广泛的使用和修改。

项目最近更新的功能

• 2023年7月15日：发布了 OpenLLaMA 3Bv3 模型，这是一个在 1T 代币上训练的 3B 规模模型，数据集混合与 7Bv2 模型相同。
• 2023年7月7日：发布了 OpenLLaMA 7Bv2 模型，该模型在 Falcon refined-web 数据集、StarCoder 数据集以及 RedPajama 数据集中的 Wikipedia、arxiv、书籍和 stackexchange 部分上进行了训练。
• 2023年6月15日：发布了 OpenLLaMA 13B 的最终 1T 代币版本，并更新了评估结果。
• 2023年5月22日：发布了 OpenLLaMA 7B 的 700B 代币检查点以及 3B 的 600B 代币检查点，并更新了评估结果。
• 2023年5月15日：修复了先前版本中的 tokenizer 配置错误，重新训练了 tokenizer 并重启了模型训练，观察到训练损失有所降低。

这些更新不断改进和优化了模型的功能和性能，使其更加适用于各种语言任务和应用场景。