Chinese-LLaVA 项目使用教程

1. 项目目录结构及介绍

Chinese-LLaVA/
├── examples/
│   └── ...
├── .gitignore
├── LICENSE
├── README.md
├── infer.py
├── infer_tokenize.py
├── llava.py
├── logger.py
├── pyproject.toml
└── ...

目录结构说明

• examples/: 包含项目的示例代码和数据。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• infer.py: 项目的主要推理文件。
• infer_tokenize.py: 用于推理的 tokenize 处理文件。
• llava.py: 项目的主要逻辑文件。
• logger.py: 日志记录文件。
• pyproject.toml: 项目配置文件。

2. 项目启动文件介绍

infer.py

infer.py 是项目的主要启动文件，用于执行模型的推理任务。它包含了模型的加载、输入数据的处理以及推理结果的输出。

主要功能

• 模型加载: 加载预训练的模型。
• 数据处理: 处理输入的图像和文本数据。
• 推理执行: 执行模型的推理任务，生成输出结果。

使用示例

python infer.py \
  --model-name PATH/TO/THE/CHINESE_LLAVA_MODEL \
  --llm-type "Chinese_llama2" or "baichuan" \
  --image-file PATH/TO/THE/INPUT/IMAGE \
  --query QUERY/PROMPT

3. 项目配置文件介绍

pyproject.toml

pyproject.toml 是项目的配置文件，用于定义项目的依赖、构建系统和开发工具的配置。

主要配置项

• 依赖管理: 定义项目所需的 Python 包和版本。
• 构建系统: 指定项目的构建工具和配置。
• 开发工具: 配置开发过程中使用的工具和插件。

示例内容

[tool.poetry]
name = "Chinese-LLaVA"
version = "0.1.0"
description = "支持中英文双语视觉-文本对话的开源可商用多模态模型"
authors = ["LinkSoul-AI"]

[tool.poetry.dependencies]
python = "^3.10"
torch = "^1.10.0"
...

[tool.poetry.dev-dependencies]
pytest = "^6.2.5"
...

通过以上配置，可以确保项目在不同的开发环境和部署环境中保持一致性和可维护性。