Wllama 项目使用与启动教程

1. 项目介绍

Wllama 是一个基于 llama.cpp 的项目，通过 WebAssembly 技术实现在浏览器上直接运行大型语言模型（LLM）的推理，无需后端或 GPU 支持。Wllama 提供了 TypeScript 支持，并且可以通过分片和并行下载技术来优化模型加载速度。

2. 项目快速启动

首先，确保您的开发环境已经安装了 npm。以下是在项目中快速启动 Wllama 的步骤：

# 克隆项目
git clone https://github.com/ngxson/wllama.git

# 进入项目目录
cd wllama

# 安装依赖
npm install

# 构建项目
npm run build

构建完成后，您可以在浏览器中打开 examples/basic/index.html 文件来查看基本的示例。

3. 应用案例和最佳实践

3.1 基本使用

以下是一个简单的示例，演示如何在 ES6 模块中引入并使用 Wllama：

import Wllama from '/path/to/wllama/esm/index.js';

(async () => {
  const configPaths = {
    'single-thread/wllama.js': '/path/to/wllama/esm/single-thread/wllama.js',
    'single-thread/wllama.wasm': '/path/to/wllama/esm/single-thread/wllama.wasm',
    // ...其他路径配置
  };

  const wllama = new Wllama(configPaths);

  // 定义模型下载进度回调函数
  const progressCallback = (loaded, total) => {
    const progressPercentage = Math.round((loaded / total) * 100);
    console.log(`Downloading ${progressPercentage}%`);
  };

  // 从 URL 加载模型
  await wllamaloadModelFromUrl('https://huggingface.co/ggml-org/models/resolve/main/tinyllamas/stories260K.gguf', [progressCallback]);

  // 创建补全
  const outputText = await wllama.createCompletion(elemInput.value, {
    nPredict: 50,
    sampling: { temp: 0.5, top_k: 40, top_p: 0.9 }
  });

  console.log(outputText);
})();

3.2 模型分片加载

如果模型文件超过 2GB，您需要使用 llama-gguf-split 工具将模型分片，然后按以下方式加载：

await wllamaloadModelFromUrl('https://huggingface.co/ngxson/tinyllama_split_test/resolve/main/stories15M-q8_0-00001-of-00003.gguf', {
  parallelDownloads: 5 // 可选：并行下载的最大文件数（默认：3）
});

4. 典型生态项目

Wllama 的生态系统包括一些典型的项目，例如：

• 使用 Wllama 在浏览器中实现聊天机器人界面。
• 创建可以下载和管理模型的模型管理器屏幕。
• 使用 Wllama 进行文本生成和嵌入向量计算。

这些项目可以在 Wllama 的 GitHub 仓库中的 examples 目录找到。