TinyLLaVA Factory 使用教程

1. 项目的目录结构及介绍

TinyLLaVA Factory 是一个用于小型大规模多模态模型的开源模块化代码库。以下是其主要目录结构及其介绍：

TinyLLaVA_Factory/
├── assets/
│   ├── ... # 资源文件
├── scripts/
│   ├── ... # 脚本文件
├── tinyllava/
│   ├── ... # 核心代码
├── tinyllava_visualizer/
│   ├── ... # 可视化工具
├── .gitignore
├── CUSTOM_FINETUNE.md
├── LICENSE
├── README.md
├── pyproject.toml

• assets/: 包含项目所需的资源文件。
• scripts/: 包含项目使用的脚本文件。
• tinyllava/: 包含项目的核心代码。
• tinyllava_visualizer/: 包含用于可视化预测结果的工具。
• .gitignore: 指定 Git 版本控制系统忽略的文件和目录。
• CUSTOM_FINETUNE.md: 自定义微调的文档。
• LICENSE: 项目的许可证。
• README.md: 项目的主文档。
• pyproject.toml: 项目的配置文件。

2. 项目的启动文件介绍

项目的启动文件通常位于 tinyllava/ 目录下。具体文件名可能因版本更新而有所变化，但通常会包含以下几个关键文件：

• main.py: 主启动文件，负责初始化项目并启动主要功能。
• train.py: 训练模型的脚本。
• evaluate.py: 评估模型的脚本。

3. 项目的配置文件介绍

项目的配置文件主要是 pyproject.toml，它包含了项目的基本配置信息，如依赖库、版本号等。以下是一个示例配置文件的内容：

[tool.poetry]
name = "TinyLLaVA_Factory"
version = "0.1.0"
description = "A Modularized Codebase for Small-scale Large Multimodal Models"
authors = ["Your Name <[e-mail]>"]

[tool.poetry.dependencies]
python = "^3.8"
torch = "^1.10"
transformers = "^4.15"

[tool.poetry.dev-dependencies]
pytest = "^6.2"

[build-system]
requires = ["poetry-core>=1.0.0"]
build-backend = "poetry.core.masonry.api"

• [tool.poetry]: 项目的基本信息，如名称、版本、描述和作者。
• [tool.poetry.dependencies]: 项目运行所需的依赖库及其版本。
• [tool.poetry.dev-dependencies]: 开发环境所需的依赖库。
• [build-system]: 构建系统的要求和后端。

以上是 TinyLLaVA Factory 项目的基本使用教程，希望对您有所帮助。