Olive项目中使用DmlExecutionProvider进行模型优化的注意事项

在微软开源的Olive项目中，当用户尝试使用DmlExecutionProvider进行模型自动优化(auto-opt)时，可能会遇到一些特定的配置问题。本文将详细介绍这些问题的原因及解决方案。

问题现象

用户在使用Olive CLI命令进行模型优化时，指定了DmlExecutionProvider作为执行提供程序，但命令执行失败并报错。错误信息显示系统无法识别input_model属性，而实际上用户已经正确指定了模型路径。

根本原因分析

经过深入调查，发现当使用DmlExecutionProvider时，Olive需要两个额外的参数才能正常工作：

1. dynamic-to-fixed-shape-dim-param
2. dynamic-to-fixed-shape-dim-value

这两个参数通常对应于模型的批处理大小(batch_size)和序列长度(sequence_length)。在默认配置中，这些参数是可选的，但当使用DmlExecutionProvider时，它们变成了必需参数。

解决方案

要解决这个问题，用户需要在命令中添加这两个参数。以下是正确的命令格式示例：

olive auto-opt -m meta-llama/Llama-2-7b-chat \
--adapter_path wsvn53/Llama-2-7b-chat-lora-tricky_math \
-o models/Llama-2-7b-chat-LoRA \
--use_model_builder \
--provider DmlExecutionProvider \
--dynamic-to-fixed-shape-dim-param batch_size \
--dynamic-to-fixed-shape-dim-value 1

技术背景

DmlExecutionProvider是ONNX Runtime的一个执行提供程序，专门为DirectML设备优化。由于DirectML设备对动态形状的支持有限，因此在将模型优化为固定形状时需要明确指定这些维度参数。

最佳实践

1. 在使用DmlExecutionProvider时，始终指定batch_size和sequence_length参数
2. 根据目标硬件选择合适的批处理大小
3. 考虑模型的实际使用场景确定序列长度
4. 测试不同的参数组合以获得最佳性能

结论

Olive项目提供了强大的模型优化能力，但在使用特定执行提供程序时需要注意其特殊要求。了解这些要求可以帮助用户更有效地利用Olive进行模型优化，特别是在Windows平台和DirectML设备上。

这个问题已经在Olive的最新版本中得到修复，用户现在可以更顺畅地使用DmlExecutionProvider进行模型优化工作。