OpenVINO项目RISCV64平台NotEqual操作JIT发射器实现解析

背景介绍

OpenVINO作为英特尔推出的开源深度学习推理工具包，其核心功能之一是代码生成特性（又称张量编译器），能够自动生成高度优化的融合子图二进制代码。其中JIT发射器是实现这一特性的关键组件，每个发射器负责实现OpenVINO低级方言中的特定操作。

在RISCV64架构的支持上，由于资源限制，目前主要采用交叉编译的方式为目标平台构建OpenVINO。开发者可以通过构建xuantie-gnu-toolchain或riscv-gnu-toolchain并启用QEMU支持来进行仿真，无需实际拥有RISC-V开发板即可为这些平台贡献代码。

NotEqual操作的技术实现

NotEqual（不等于）是OpenVINO IR格式中定义的一种比较操作，属于比较操作集的一部分。在RISCV64平台上实现其JIT发射器，需要充分利用RISC-V的"V"向量扩展指令集（RVV1.0）。

对于fp32（单精度浮点）类型的NotEqual操作，核心指令是vmfne（向量浮点不等于比较）。该指令会对两个向量寄存器中的浮点数值进行逐元素比较，结果存储在目标掩码寄存器中。

实现步骤详解

1. JIT发射器实现： 在jit_eltwise_emitters.hpp文件中创建新的发射器类，继承自基础发射器类。核心emit_code方法需要：

   • 处理输入输出寄存器的分配
   • 生成vmfne指令序列
   • 处理结果掩码的存储

2. JIT执行器集成： 修改JIT执行器逻辑以支持新实现的发射器，确保在执行比较操作时能够正确调用NotEqual的JIT实现。

3. RISCV64内核修改： 在jit_uni_eltwise_generic相关文件中进行两处关键修改：

   • 在create_eltwise_emitter函数中添加对新发射器的创建支持
   • 在get_supported_precisions函数中声明对fp32精度的支持

测试验证

测试采用GoogleTest框架，通过特定的测试过滤器可以只运行NotEqual相关的测试用例。测试命令需要指定QEMU仿真参数，包括CPU类型和向量扩展版本。测试目标主要是验证：

• 发射器生成的指令正确性
• 不同输入情况下的计算结果准确性
• 与其他操作的兼容性和集成效果

技术挑战与解决方案

在实现过程中可能遇到的主要挑战包括：

1. 指令选择：确保使用最合适的向量指令（vmfne）并正确处理比较结果
2. 寄存器管理：高效利用有限的向量寄存器资源
3. 精度处理：特别是浮点数的比较需要考虑特殊值（如NaN）的情况

解决方案建议：

• 参考已有的类似操作（如Abs）实现
• 充分利用RVV1.0文档中的指令说明
• 通过QEMU仿真进行逐步调试

总结

通过实现RISCV64平台上的NotEqual操作JIT发射器，不仅增强了OpenVINO在该平台的功能完整性，也为后续更多操作的实现提供了参考模板。这种基于向量指令的实现方式能够充分发挥RISC-V处理器的并行计算能力，为深度学习推理任务提供高效的底层支持。

对于想要贡献类似功能的开发者，建议从理解现有发射器实现开始，逐步掌握OpenVINO的代码生成机制和RISC-V向量指令集特性，从而能够高效地实现更多操作的优化版本。