【亲测免费】 Triton Inference Server 教程文档

1. 项目的目录结构及介绍

tutorials/
├── client/
│   ├── python/
│   │   ├── simple_grpc_infer_client.py
│   │   ├── simple_http_infer_client.py
│   │   └── ...
│   └── ...
├── common/
│   ├── README.md
│   └── ...
├── docs/
│   ├── README.md
│   └── ...
├── examples/
│   ├── custom_operations/
│   │   ├── README.md
│   │   └── ...
│   ├── ensemble_models/
│   │   ├── README.md
│   │   └── ...
│   └── ...
├── model_repository/
│   ├── simple/
│   │   ├── 1/
│   │   │   └── model.graphdef
│   │   └── config.pbtxt
│   └── ...
├── server/
│   ├── README.md
│   └── ...
└── README.md

目录结构介绍

• client/: 包含客户端示例代码，如Python客户端脚本。
• common/: 包含通用资源和文档。
• docs/: 包含项目文档。
• examples/: 包含各种示例，如自定义操作和模型集成。
• model_repository/: 包含模型仓库示例。
• server/: 包含服务器相关资源和文档。
• README.md: 项目主文档。

2. 项目的启动文件介绍

启动文件

• server/tritonserver: 这是Triton Inference Server的启动文件。可以通过命令行启动服务器，例如：

  ./tritonserver --model-repository=/path/to/model_repository
  

启动命令参数

• --model-repository: 指定模型仓库的路径。
• --log-verbose: 设置日志详细级别。
• --allow-grpc: 允许gRPC协议。
• --allow-http: 允许HTTP协议。

3. 项目的配置文件介绍

配置文件

• model_repository/simple/config.pbtxt: 这是模型配置文件的示例。每个模型目录下都需要一个config.pbtxt文件来定义模型的配置。

配置文件示例

name: "simple"
platform: "tensorflow_graphdef"
max_batch_size: 1
input [
  {
    name: "input_tensor"
    data_type: TYPE_FP32
    dims: [ 16 ]
  }
]
output [
  {
    name: "output_tensor"
    data_type: TYPE_FP32
    dims: [ 16 ]
  }
]

配置文件参数

• name: 模型的名称。
• platform: 模型的平台，如TensorFlow、ONNX等。
• max_batch_size: 最大批处理大小。
• input: 输入张量的定义。
• output: 输出张量的定义。

以上是Triton Inference Server项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。