Optimum项目支持Phi-3模型的技术解析

背景介绍

微软最新推出的Phi-3系列模型，特别是具有128K上下文的Phi-3-mini模型，因其小巧的体积和超长上下文能力而备受关注。然而，在Optimum项目（Hugging Face推出的模型优化工具库）中，用户发现无法直接导出Phi-3模型到ONNX格式。

技术挑战

Optimum项目最初不支持Phi-3模型的主要原因在于其架构未被纳入标准化配置管理系统。当用户尝试使用Optimum导出Phi-3模型时，会遇到明确的错误提示，指出Phi-3是一种自定义或不支持的架构，需要提供自定义导出配置。

临时解决方案

在官方支持推出前，开发者们探索了几种临时解决方案：

1. 修改NormalizedConfigManager：通过向配置管理器中添加"phi3"类型的标准化文本配置，可以初步解决识别问题。

2. 补丁TasksManager：通过临时修改TasksManager中的支持模型类型列表，将phi3映射到phi的处理方式，使导出流程能够继续执行。

3. 使用ORTModelForCausalLM：通过Optimum的ONNX运行时模型类直接加载Phi-3模型并触发导出，这种方法绕过了部分验证步骤。

官方支持进展

Optimum开发团队已经意识到这一需求，并采取了分阶段的解决方案：

1. 初步支持：通过PR #1841添加了对Phi-3-mini的基本支持，使得用户能够加载微软官方提供的ONNX格式检查点。

2. 完整导出支持：开发团队承诺将为Phi-3添加完整的ONNX配置，使模型能够直接从PyTorch格式导出为ONNX。

3. 稳定版本策略：对于Phi-3-small等较新变体，团队将等待其被纳入稳定版Transformers后再提供支持，因为这些模型目前仍依赖远程代码加载。

技术实现细节

在底层实现上，Optimum项目通过以下机制支持新模型：

• NormalizedConfig系统：提供模型配置的标准化视图，确保不同架构的模型能够以统一方式处理。
• TasksManager：管理不同模型类型支持的任务映射关系。
• ONNX配置系统：定义模型导出到ONNX格式的具体规则和参数。

未来展望

随着Phi-3系列模型在业界的广泛应用，Optimum项目对其的支持将不断完善。开发者可以期待：

1. 更完善的导出选项，包括不同精度和优化级别的支持。
2. 针对Phi-3特定架构的性能优化。
3. 对更大规模Phi-3变体的支持。

对于需要立即使用Phi-3模型的开发者，建议关注Optimum项目的更新动态，或采用文中提到的临时解决方案进行模型导出和优化。