【零门槛免费】Java 以图搜图实战:从一张图到相似图检索的完整链路
【零门槛免费】Java 以图搜图实战:从一张图到相似图检索的完整链路
这套「以图搜图 Java+HTML 源代码」把整条图像搜索链路都装进了一个 Spring Boot 工程:前端一个 HTML 页面负责选图上传,后端用 PyTorch 模型把图片抽成向量、丢进 Elasticsearch 做余弦相似度检索,几秒内把最像的一批图连同得分吐回来。适合想搞懂以图搜图到底怎么实现、又不想从零撸一套深度学习框架的初中级开发者。
传一张图,它到底能干什么
别被"深度学习"吓到,这套代码的骨架其实很直白:Java 后端(Spring Boot 2.7)+ PyTorch 特征模型 + Elasticsearch 向量检索 + jQuery 前端。你传一张图进来,后端先把它压成一串数字,再去图库里"按相似度排序"找出长得像的,最后端给页面。整个链路大致这么几件事:
- 前端
index.html页面选中图片后,用 jQuery 校验格式(只认 JPG / PNG / JPEG)并 POST 给后端 - 后端用 DJL 加载 PyTorch 的 ResNet50 模型(
model.pt),把图缩放到 224×224 后抽成 1024 维特征向量 - 向量写进 Elasticsearch 的
isi索引,检索时用cosineSimilarity(余弦相似度,衡量两个向量方向有多接近)打分排序 - 命中结果带着
url和score返回,前端渲染成"相似图 + 相似度分数"的列表
真正干活的就这一行 ES 脚本,它把"找相似图"变成了"按向量夹角排序":
cosineSimilarity(params.queryVector, doc['vector'])
跑起来之前:把依赖备齐
先把前置条件对一遍,省得中途卡住:
- [ ] JDK 8 及以上 —— Spring Boot 2.7 的运行底座
- [ ] Maven —— 负责把 DJL、PyTorch、Elasticsearch client 这些依赖拉下来
- [ ] 一个 Elasticsearch 服务 —— 存图片向量、跑余弦检索,这是整套系统能不能"搜"出来的关键
- [ ] PyTorch 模型文件
model.pt—— 仓库里已随工程附带,不用自己训练 - [ ] 一个 IDE(IntelliJ IDEA 或 Eclipse 都行)—— 方便断点、看日志
从零到能搜图
- 拿到代码 —— 拉到本地、解压后能看到
html(前端)和z-project(java后端)(后端)两块
git clone https://gitcode.com/open-source-toolkit/0e3b7
- 让 IDE 认账 —— 用 Maven 项目方式导入
z-project(java后端),等依赖下载完,目录里能看到AppApplication.java等类 - 填好配置 —— 打开
ORCUtil.java,把里面写死的 Elasticsearch 地址、端口、账号密码换成你本地的,并确认本地 ES 已建好isi索引、导入了待搜图片的向量 - 点火 —— 运行
AppApplication的 main 方法,控制台打出-----ok -----即服务在 8081 端口起来了
mvn spring-boot:run
- 扔张图试试 —— 浏览器打开
index.html,选一张图,右侧区域会列出相似图,每张后面跟着一个小数(相似度得分)
踩坑与边界:提前打个预防针
这几处容易让人以为"挂了",先说清楚:
- 模型加载慢 ≠ 挂了 ⚠️
model.pt是一百多兆的 PyTorch 权重,首次启动加载要等一会儿,耐心点,第二次会快很多 - 上传只挡了扩展名 ⚠️ 前端只校验了
.jpg / .png / .jpeg后缀,没校验文件内容和大小,真要上公网得补文件类型白名单 + 大小上限,防止被人塞恶意文件 - 调优看参数 想更准就动两处:
ORCUtil里的返回条数k,以及特征维度(模型输出 1024 维,ES 索引要对应设成 1024) - 第三方许可 工程是 MIT 协议,但 ResNet50 预训练权重各有授权约定,商用前记得核对
能跑通之后,往哪走
这套东西最大的价值是给你一条"能跑通的最小完整链路"。想继续往下,两个方向比较顺手:一是把图库从本地文件换成数据库,存 url、score 之外的标签、作者等元数据;二是换更强的特征模型(比如 CLIP 这类预训练模型)去试试召回质量。想动手改代码的话,先看根目录的 LICENSE 确认协议即可。
登录后查看全文