CogView2 项目使用教程

1. 项目目录结构及介绍

CogView2 项目的目录结构如下：

CogView2/
├── assets/
├── comp_pipeline/
├── sr_pipeline/
├── .gitignore
├── LICENSE
├── README.md
├── cluster_label.npy
├── cog.yaml
├── coglm_strategy.py
├── cogview2_completion.py
├── cogview2_text2image.py
├── input.txt
├── input_comp.txt
├── predict.py
├── pretrain_coglm.py
├── requirements.txt
├── text2image.sh
├── text_guided_completion.sh

目录结构介绍

• assets/: 存放项目相关的资源文件。
• comp_pipeline/: 包含图像生成的组件流水线。
• sr_pipeline/: 包含超分辨率处理的流水线。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目介绍和使用说明。
• cluster_label.npy: 聚类标签文件。
• cog.yaml: 项目配置文件。
• coglm_strategy.py: CogLM 策略脚本。
• cogview2_completion.py: 文本引导图像补全脚本。
• cogview2_text2image.py: 文本到图像生成脚本。
• input.txt: 输入文本文件。
• input_comp.txt: 文本引导补全的输入文件。
• predict.py: 预测脚本。
• pretrain_coglm.py: CogLM 预训练脚本。
• requirements.txt: 项目依赖文件。
• text2image.sh: 文本到图像生成的启动脚本。
• text_guided_completion.sh: 文本引导图像补全的启动脚本。

2. 项目启动文件介绍

text2image.sh

text2image.sh 是用于启动文本到图像生成的脚本。使用方法如下：

./text2image.sh --input-source input.txt --output-path output_folder --batch-size 4 --max-inference-batch-size 2 --device 0

参数说明

• --input-source: 输入文本文件路径或 "interactive" 启动交互模式。
• --output-path: 输出结果的文件夹路径。
• --batch-size: 每个查询生成的样本数量。
• --max-inference-batch-size: 每次前向传播的最大批处理大小，减少以避免内存溢出。
• --device: 运行在哪个 GPU 上。

text_guided_completion.sh

text_guided_completion.sh 是用于启动文本引导图像补全的脚本。使用方法如下：

./text_guided_completion.sh --input-source input_comp.txt

参数说明

• --input-source: 输入文件路径，格式为 text image_path h0 w0 h1 w1，其中所有分隔符为 TAB。

3. 项目配置文件介绍

cog.yaml

cog.yaml 是项目的配置文件，包含了模型的各种参数设置。以下是部分配置示例：

model:
  name: CogView2
  parameters:
    - 6B
    - 9B
    - 9B
  style: mainbody
  device: 0
  max-inference-batch-size: 2

配置项说明

• model.name: 模型名称。
• model.parameters: 模型参数设置。
• model.style: 生成图像的风格。
• model.device: 运行设备。
• model.max-inference-batch-size: 最大推理批处理大小。

通过以上配置，可以灵活调整模型的运行参数，以适应不同的硬件环境和需求。