利用Triton Inference Server实现动态模型路由的BLS技术方案

背景介绍

在深度学习推理服务部署中，Triton Inference Server作为一款高性能推理服务框架，提供了多种模型部署和组合方式。其中Ensemble模型和BLS(Business Logic Scripting)是两种常用的模型编排技术。本文将探讨如何结合这两种技术实现动态模型路由功能。

需求分析

在实际业务场景中，我们经常遇到这样的需求：一个推理流水线需要将输入数据分发给多个下游模型，但每次请求只需要选择性地调用其中部分模型。例如：

1. 一个OCR系统包含多种语言的识别模型
2. 一个图像分类系统包含多个专业领域的分类器
3. 一个语音处理系统支持多种方言识别

传统Ensemble模型虽然可以实现并行推理，但无法动态选择下游模型。这正是BLS技术可以发挥作用的地方。

技术方案设计

整体架构

我们采用分层设计的思想，将整个推理流程分为三个阶段：

1. 预处理阶段：使用Ensemble模型处理输入数据直至特征提取完成
2. 动态路由阶段：通过BLS脚本根据请求参数选择目标模型
3. 后处理阶段：对选定模型的输出进行统一后处理

关键技术实现

1. 预处理Ensemble：

   • 包含数据预处理、特征提取等固定流程
   • 输出标准化特征表示，供下游模型使用
   • 确保输出格式对所有下游模型兼容

2. BLS路由控制器：

   • 接收预处理结果和模型选择参数
   • 动态构建推理请求，只调用指定的下游模型
   • 处理未被选中的模型输出(填充默认值或跳过)

3. 后处理Ensemble：

   • 接收BLS路由后的结果
   • 进行结果融合、格式化等操作
   • 输出最终推理结果

实现细节

预处理Ensemble配置

在Triton的模型配置中，我们定义一个预处理Ensemble，它包含：

• 输入数据标准化处理
• 特征提取模型
• 中间结果格式化

这个Ensemble的输出将成为下游模型的统一输入接口。

BLS脚本编写

BLS脚本是动态路由的核心，主要实现以下功能：

def execute(self, requests):
    responses = []
    for request in requests:
        # 解析请求参数，获取目标模型列表
        target_models = parse_request(request)
        
        # 获取预处理结果
        preprocessed_data = get_input_tensor(request, "preprocessed_output")
        
        # 动态调用目标模型
        model_outputs = []
        for model_name in target_models:
            infer_request = prepare_inference_request(model_name, preprocessed_data)
            response = self.triton_client.infer(infer_request)
            model_outputs.append(process_response(response))
        
        # 构建最终响应
        final_response = combine_outputs(model_outputs)
        responses.append(final_response)
    
    return responses

后处理Ensemble设计

后处理Ensemble需要能够处理不同数量的模型输出，通常需要：

• 定义统一的输出格式
• 实现结果排序和过滤逻辑
• 添加置信度计算等后处理

性能优化建议

1. 请求批处理：在BLS脚本中合理利用批处理能力
2. 模型预热：对常用模型组合进行预热加载
3. 缓存机制：对预处理结果实施缓存
4. 资源监控：动态调整模型实例数量

应用场景扩展

这种架构不仅适用于多语言OCR系统，还可应用于：

1. 多模态推理系统：根据输入数据类型选择处理路径
2. AB测试框架：动态路由到不同版本的模型
3. 级联推理系统：基于置信度动态选择后续模型

总结

通过结合Triton Inference Server的Ensemble和BLS技术，我们实现了灵活的动态模型路由方案。这种架构既保留了Ensemble的高效并行处理能力，又通过BLS获得了动态选择的灵活性，为复杂推理场景提供了优雅的解决方案。在实际部署中，开发者可以根据具体业务需求调整路由策略和后处理逻辑，构建更加智能的推理服务。