视频分析工具安装与配置指南

1. 项目基础介绍

本项目是一款视频分析工具，它通过结合大型语言模型、计算机视觉以及自动语音识别技术来分析视频内容。它可以从视频中提取关键帧，利用视觉模型来获取详细信息，并结合语音转录，生成对视频内容的自然语言描述。此工具旨在为用户提供对视频内容的深入理解和描述。

主要编程语言：Python

2. 关键技术和框架

• 计算机视觉模型：使用Ollama和Llama3.2 11B视觉模型对视频帧进行分析。
• 自动语音识别：采用OpenAI的Whisper模型进行音频转录。
• 自然语言处理：通过集成的大型语言模型生成视频描述。
• 框架和库：使用OpenCV提取视频关键帧，利用FFmpeg处理音频。

3. 安装和配置准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python版本：3.11或更高
• FFmpeg：用于音频处理
• 如果在本地运行大型语言模型，建议至少16GB RAM（推荐32GB），GPU至少12GB VRAM或Apple M系列芯片32GB

详细安装步骤

1. 克隆项目仓库： 在命令行中执行以下命令以克隆项目仓库：

   git clone https://github.com/byjlw/video-analyzer.git
   cd video-analyzer
   

2. 创建虚拟环境并激活： 创建虚拟环境以隔离项目依赖：

   python3 -m venv .venv
   

   根据您的操作系统激活虚拟环境：

   • 在Unix-like系统中（如Linux或macOS）：

     source .venv/bin/activate
     

   • 在Windows系统中：

     .venv\Scripts\activate
     

3. 安装项目依赖： 安装项目所需的Python包：

   pip install .
   

   或者，如果您打算进行开发工作，可以使用以下命令安装开发依赖：

   pip install -e .
   

4. 安装FFmpeg： 根据您的操作系统安装FFmpeg：

   • 在Ubuntu/Debian系统中：

     sudo apt-get update && sudo apt-get install -y ffmpeg
     

   • 在macOS系统中：

     brew install ffmpeg
     

   • 在Windows系统中：

     choco install ffmpeg
     

5. 配置OpenAI兼容API（可选）： 如果您希望使用OpenAI兼容的API，您需要获取API密钥并配置客户端。具体步骤如下：

   • 获取API提供商的API密钥。
   • 使用命令行或配置文件设置API密钥和URL。

   例如，对于OpenRouter：

   video-analyzer video.mp4 --client openai_api --api-key your-key --api-url https://openrouter.ai/api/v1 --model gpt-4o
   

   或者添加到config/config.json文件中：

   {
     "clients": {
       "default": "openai_api",
       "openai_api": {
         "api_key": "your-api-key",
         "api_url": "https://openrouter.ai/api/v1"
         // 或者 https://api.openai.com/v1
       }
     }
   }
   

完成以上步骤后，您就可以开始使用视频分析工具了。请参考项目的README文件以获取更多关于如何使用该工具的信息。