Sapiens-Pytorch-Inference 项目使用教程

1. 项目目录结构及介绍

Sapiens-Pytorch-Inference 项目目录结构如下：

Sapiens-Pytorch-Inference/
├── models/              # 存放预训练模型文件
├── notebooks/           # Jupyter 笔记本文件，包含示例代码
├── sapiens_inference/   # 项目核心代码，包含 SapiensPredictor 类和配置类
├── image_normal_estimation.py  # 图像法线估计示例脚本
├── image_pose_estimation.py    # 图像姿态估计示例脚本
├── image_predictor.py           # 图像预测示例脚本
├── image_segmentation.py        # 图像分割示例脚本
├── onnx_export.py               # 导出 ONNX 模型脚本
├── video_normal_estimation.py   # 视频法线估计示例脚本
├── video_predictor.py           # 视频预测示例脚本
├── video_segmentation.py        # 视频分割示例脚本
├── webcam_normal_estimation.py  # 摄像头法线估计示例脚本
├── webcam_predictor.py          # 摄像头预测示例脚本
├── webcam_segmentation.py       # 摄像头分割示例脚本
├── .gitattributes
├── .gitignore
├── LICENSE
├── README.md
├── pyproject.toml
└── requirements.txt            # 项目依赖文件

models/

存放项目所需的预训练模型文件。

notebooks/

包含 Jupyter 笔记本文件，用于运行示例代码。

sapiens_inference/

包含项目核心代码，如 SapiensPredictor 类和配置类。

示例脚本

一系列的 Python 脚本，用于演示如何使用 Sapiens-Pytorch-Inference 进行图像和视频的处理。

配置文件和依赖

包含项目的配置文件和依赖列表。

2. 项目的启动文件介绍

项目的启动文件是 image_predictor.py、video_predictor.py 和 webcam_predictor.py。以下是 image_predictor.py 的基本结构：

import cv2
from imread_from_url import imread_from_url
from sapiens_inference import SapiensPredictor, SapiensConfig

# 配置模型
config = SapiensConfig()
# 加载模型
predictor = SapiensPredictor(config)

# 加载图像
img = imread_from_url("image_url")

# 预测
result = predictor(img)

# 显示结果
cv2.imshow("Result", result)
cv2.waitKey(0)
cv2.destroyAllWindows()

这些脚本会加载配置好的模型，然后对图像或视频进行处理，并显示结果。

3. 项目的配置文件介绍

项目的配置文件是 SapiensConfig 类。这个类允许用户配置模型的各种参数，如数据类型、设备、深度模型类型、法线模型类型和分割模型类型。以下是一些配置选项：

config = SapiensConfig()
config.depth_type = SapiensDepthType.DEPTH_1B
config.normal_type = SapiensNormalType.NORMAL_1B
config.segmentation_type = SapiensSegmentationType.SEGMENTATION_1B

通过配置这些参数，用户可以根据需求调整模型的性能。