使用JSI-Image:在React Native中实现高效的图片处理🚀
2024-05-22 14:11:24作者:尤峻淳Whitney
工作进行中...
一个可写的内存中的Image JSI宿主对象。
JSI-Image是针对iOS和Android平台的现代库,它提供了一个快速的JavaScript接口来处理图像。通过这个库,你可以以三种方式创建JSI-Image实例:
- 从文件加载
- 从Web-URL加载
- 由其他库(如VisionCamera's
takePhoto(...))返回
为什么选择JSI-Image?
传统的React Native图像处理效率低下。以相机应用为例,拍照流程通常包括:
- 用户点击捕捉按钮。
- 相机拍摄照片,库现在有一个内存中的
UIImage实例。 - 库在磁盘上创建新文件。(慢!)
- 库将
UIImage实例写入文件。(慢!) - 库返回文件路径给调用者(JavaScript)。
- 应用导航到显示媒体的屏幕。
- 应用将文件路径传递给
<FastImage>组件。 <FastImage>组件必须从文件加载图像。(慢!)
但使用JSI-Image,可以跳过不必要的文件操作,因为图像可以在内存中传递。
- 用户点击捕捉按钮。
- 相机拍摄照片,库现在有一个内存中的
UIImage实例。 - 库直接返回内存中的
Image实例给调用者。 - 应用导航到显示媒体的屏幕。
- 应用将内存中的
Image实例传递给<FastImage>组件。 <FastImage>组件直接从内存显示UIImage实例。(快!)
性能基准测试
- 没有JSI-Image:
[log] 成功拍照,耗时312毫秒! - 有JSI-Image:
[log] 成功拍照,耗时95毫秒!
JSI-Image使拍照速度提高了3倍多!
在更复杂的图像处理任务中,例如旋转、滤镜或缩放图像,这种改进会更加显著。
安装与使用
要安装JSI-Image,请执行以下命令:
yarn add react-native-jsi-image
cd ios && pod install
然后,你可以按照以下示例加载和使用图像:
从URL加载
import { loadImageFromUrl } from "react-native-jsi-image";
const image = await loadImageFromUrl('https://...');
console.log(`成功加载 ${image.width} x ${image.height} 图像!`);
从文件加载
import { loadImageFromFile } from "react-native-jsi-image";
const image = await loadImageFromFile('file:///Users/Marc/image.png');
console.log(`成功加载 ${image.width} x ${image.height} 图像!`);
检查并修改图像
const image = ...
const size = image.width * image.height
const realSize = size * image.scale
const orientation = image.orientation
for (const pixel of image.data) {
console.log(`像素:${pixel}`);
}
// 旋转或翻转图像
if (image.orientation === "up") {
// 在内存中旋转图像
image.orientation = "right";
}
将修改后的图像保存至文件
let image = ...
image = rotateImageCorrectly(image)
await image.save('file:///tmp/temp-image.png') // 或 .jpg
为开发者设计
对于开发库来说,你的函数需要支持JSI函数。
接受Image参数
在JSI模块:
#include <JsiImage/ImageHostObject.h>
// ...
jsi::Value myFunction(jsi::Runtime& runtime,
jsi::Value& thisArg,
jsi::Value* arguments,
size_t count) {
auto imageHostObject = arguments[0].asObject(runtime).asHostObject<ImageHostObject>(runtime);
auto uiImage = imageHostObject->image;
// 在这里使用uiImage
}
在TypeScript声明:
import { Image } from 'react-native-jsi-image'
export function myFunction(image: Image): void
从你的本机模块返回Image
在JSI模块:
#include <JsiImage/ImageHostObject.h>
// ...
jsi::Value myFunction(jsi::Runtime& runtime,
jsi::Value& thisArg,
jsi::Value* arguments,
size_t count) {
UIImage* image = // ...
auto instance = std::make_shared<ImageHostObject>(image, promiseVendor);
return jsi::Object::createFromHostObject(runtime, instance);
}
在TypeScript声明:
import { Image } from 'react-native-jsi-image'
export function myFunction(): Image
贡献代码
查看贡献指南,了解如何参与仓库贡献和开发工作流。
许可证
JSI-Image遵循MIT许可证。
JSI-Image不仅仅是一个库,它是React Native图像处理的一场革命,让你的应用性能达到新的高度。通过减少磁盘操作,提升响应速度,它让你的应用能够更快地加载和处理图像,无论是用于摄像头应用还是任何形式的图像编辑和展示。立即尝试,让您的用户感受到前所未有的流畅体验吧!
登录后查看全文
热门项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0191
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0118
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
fun-rec推荐系统入门教程,在线阅读地址:https://datawhalechina.github.io/fun-rec/Python03
so-large-lm大模型基础: 一文了解大模型基础知识01
热门内容推荐
最新内容推荐
项目优选
收起
暂无描述
Dockerfile
765
4.97 K
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
857
1.93 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
680
1.33 K
Ascend Extension for PyTorch
Python
719
879
deepin linux kernel
C
32
16
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
456
438
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.08 K
1.1 K
华为昇腾面向大规模分布式训练的多模态大模型套件,支撑多模态生成、多模态理解。
Python
151
252
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
303
118
昇腾LLM分布式训练框架
Python
178
220