MediaPipe v0.10.24版本发布：跨平台AI推理框架全面升级

MediaPipe项目简介

MediaPipe是Google开源的一个跨平台机器学习推理框架，它能够帮助开发者快速构建复杂的机器学习流水线。作为一个高度优化的框架，MediaPipe支持在移动设备、边缘计算设备和Web浏览器等多种平台上运行机器学习模型，特别适合实时媒体处理应用，如计算机视觉、音频处理和自然语言处理等场景。

核心框架与计算器改进

图形构建器功能增强

本次发布的v0.10.24版本对C++ Graph Builder进行了重要升级，新增了对源层(source layers)的支持，并引入了Back-Edge支持。这些改进使得开发者能够构建更复杂的处理图，特别是在需要循环数据处理或反馈机制的应用场景中。

WebGPU支持优化

针对Web平台，新版本改进了WebGPU相关功能：

• 增加了WebGpuCreateRenderPipelineAsync工具，简化了渲染管线的异步创建过程
• 为WebGpuAsyncFuture添加了正确的析构函数，确保任何待处理的future都能被正确释放
• 移除了Web平台LLM推理中对maxBufferSize和maxStorageBufferBindingSize的人为限制

性能与资源管理

• 优化了Tensor视图管理，避免在相同内部使用的Tensor上重复创建写视图
• 减少了CalculatorNode::ProcessNode调用中不必要的StatusRep对象创建
• 为ImmediateMuxCalculator添加了处理时间戳边界选项
• 支持从文件描述符加载PackWeightsCache，提高了权重加载的灵活性

调试与日志工具

• 新增了多种日志工具，包括Tensor、ImageFrame和cv::Mat的日志记录功能
• 添加了将Tensor视图转换为OpenCV Mat的实用工具
• 修复了RGBA图像日志记录的支持问题
• 增加了LogHalideBuffer变体，用于记录Halide缓冲区

平台特定更新

Android平台改进

• 将回调注册移入InferenceSession内部管理
• 新增updateSessionConfig和getSetencePieceProcessor API
• 为LlmInferenceSession添加getSessionOptions方法
• 支持OpenCL后端的推理会话克隆
• 增加了提示模板支持
• 添加了异步生成取消功能
• 移除了图像API中不必要的分块处理

iOS平台增强

• 在Swift API中增加了视觉模态支持
• 将Skia转换移至LLM C库中

Python接口优化

• 增加了对包含ImageFrames向量的Packet支持
• 避免不必要的ImageFrames拷贝
• 为基础解决方案添加了额外设置选项
• 支持在.task文件中捆绑额外的.tflite模型
• 更新了LLM bundler以将视觉模型包含在.task文件中

模型支持与AI能力扩展

新模型支持

• 通过XNNPACK增加了对GemmaV2-2B模型的支持
• 增加了对GemmaV3-1B模型的支持，同样使用XNNPACK后端
• 为Gemma3转换启用了LoRA支持

音频处理增强

• 在SpectrogramCalculator中添加了枚举选项，支持输出包含所有通道的帧，而不仅仅是矩阵向量

动态量化优化

• 改进了动态量化策略，现在只在投影到查询、键和值之前对输入进行一次量化，提高了效率

构建系统与兼容性

• 移除了对iOS平台自定义C++版本的依赖，改为使用构建时设置的通用C++版本
• 修复了iOS平台构建问题，确保在iOS 12.0及以上版本能够正常构建
• 更新了文档中关于Python版本支持的说明

总结

MediaPipe v0.10.24版本带来了全面的功能增强和性能优化，特别是在跨平台支持、模型推理效率和开发者工具方面有了显著提升。新版本不仅扩展了对最新AI模型的支持，还改进了框架的核心功能，使得开发者能够更高效地构建和部署复杂的机器学习流水线。无论是移动应用开发、Web应用集成还是边缘计算场景，这个版本都提供了更强大、更灵活的工具集。