【亲测免费】 闻达：一个LLM调用平台的安装和配置指南

1. 项目基础介绍和主要的编程语言

项目基础介绍

闻达（Wenda）是一个大规模语言模型（LLM）调用平台，旨在针对特定环境实现高效的内容生成。该项目考虑了个人和中小企业在计算资源上的局限性，以及知识安全和私密性问题。通过平台化集成多种能力，如知识库、多种大语言模型、Auto脚本等，闻达为用户提供了一个灵活且高效的解决方案。

主要的编程语言

闻达项目主要使用Python进行开发，同时也涉及到JavaScript、HTML、CSS等前端技术。

2. 项目使用的关键技术和框架

关键技术和框架

• 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。
• 多种大语言模型：包括chatGLM-6B、chatGLM2-6B、chatRWKV、llama系列、moss、baichuan、Aquila-7B、InternLM等。
• Auto脚本：通过JavaScript脚本实现自定义对话流程、访问外部API、在线切换LoRA模型等功能。
• 对话历史管理：支持内网部署、多用户同时使用等实用化能力。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

1. 操作系统：Windows或Linux系统。
2. Python环境：建议使用Python 3.7或更高版本。
3. Git：用于克隆项目代码。
4. CUDA（可选）：如果需要使用GPU加速，建议安装CUDA 11.8。

详细的安装步骤

步骤1：克隆项目代码

首先，使用Git克隆闻达项目的代码库到本地：

git clone https://github.com/wenda-LLM/wenda.git
cd wenda

步骤2：安装依赖库

在项目根目录下，使用pip安装所需的依赖库：

pip install -r requirements/requirements.txt

步骤3：下载模型

根据需要，下载对应的模型。建议使用chatRWKV的RWKV-4-Raven-7B-v11或chatGLM-6B。可以使用内置脚本从Hugging Face下载，也可以从网盘下载。

步骤4：配置参数

将example_config.yml重命名为config.yml，并根据里面的参数说明，填写你的模型下载位置等信息。

步骤5：运行项目

根据你选择的模型，运行相应的启动脚本。例如，如果你使用的是chatGLM-6B模型，可以运行：

run_GLM6B.bat

步骤6：配置知识库（可选）

如果需要生成离线知识库，可以参考项目文档中的知识库部分进行配置。

其他注意事项

• 默认参数在6G显存设备上运行良好，最新版懒人版已集成一键更新功能，建议使用前更新。
• 如果需要使用GPU加速，确保已安装CUDA 11.8，并根据需要修改配置文件中的相关参数。

通过以上步骤，你就可以成功安装和配置闻达项目，并开始使用其强大的LLM调用功能。