Magic Copy 项目技术文档

安装指南

通过浏览器商店安装

Magic Copy 是一个 Chrome 扩展程序，使用 Meta 的 Segment Anything Model 从图像中提取前景对象并将其复制到剪贴板。

• Chrome 浏览器:

  • 点击 Chrome Web Store 链接进行安装。

• Firefox 浏览器:

  • 点击 Firefox Add-ons Store 链接进行安装。

注意: 该扩展程序可能仍在审核中，如果希望在审核通过后收到通知，可以订阅 Chrome 或 Firefox 的 issue。

手动安装

1. 从 releases 下载最新的 magic-copy.zip 文件。
2. 解压 ZIP 文件。
3. 在 Chrome 浏览器中，访问 chrome://extensions/，启用“开发者模式”，然后点击“加载已解压的扩展程序”。
4. 选择解压后的文件夹。

Figma 插件

Magic Copy 也可作为 Figma 插件 使用。

项目的使用说明

Magic Copy 扩展程序的主要功能是从图像中提取前景对象并将其复制到剪贴板。使用步骤如下：

1. 在浏览器中安装并启用 Magic Copy 扩展程序。
2. 打开任意网页，选择一张图片。
3. 使用 Magic Copy 扩展程序提取图片中的前景对象。
4. 提取的对象将自动复制到剪贴板，可以在其他应用程序中粘贴使用。

项目API使用文档

Magic Copy 扩展程序使用 Meta 的 Segment Anything Model (SAM) 来提取图像中的前景对象。SAM 模型通过 POST 请求将图像文件发送到服务器，服务器返回一个 JSON 数组，其中包含图像的嵌入信息。

API 请求格式

• 请求方法: POST
• 请求URL: http://localhost:8000/ (默认端点)
• 请求体: 图像文件
• 响应格式: JSON 数组，包含图像的嵌入信息，格式为 (1, 256, 64, 64) 的 base64 编码字符串。

示例请求

{
  "image": "base64_encoded_image_data"
}

示例响应

{
  "embedding": "base64_encoded_embedding_data"
}

项目安装方式

手动构建

1. 使用 npm 构建扩展程序：

npm ci
npm run build
./buildcrx.sh -d dist

2. 运行 ./buildcrx.sh 脚本生成 crx 文件。

使用 Docker 构建

1. 使用提供的 Dockerfile 构建 crx 文件：

docker build --output out .

自托管服务

Magic Copy 使用 Meta 的 Segment Anything Model 需要运行视觉变换器服务来生成图像的嵌入信息。如果不想将图像发送到第三方服务器，可以使用提供的 server-example 目录中的示例代码进行自托管。

1. 使用提供的 Dockerfile 构建并运行容器：

docker build -t segment-anything .
docker run --gpus all -p 8000:8000 segment-anything

2. 在 Magic Copy Chrome 扩展程序中，将端点更改为 http://localhost:8000/。