我给图片搜索加了向量,然后发现还不够
如果只记得一张图的大致内容,却忘了文件名,怎么把它找出来?我做 PicIndex,最初就是为了解决这个问题。
思路其实不复杂:用多模态 Embedding 把图片和文字映射到同一个向量空间。这样搜“赛博朋克风格的雨夜街道”或者“坐在窗边的猫”,系统就能顺着画面语义找出相似的图。
Demo 跑通得很快,但真当成工具用起来,毛病就全冒出来了:图里的订单号搜不准、几兆的原图调一次模型慢得离谱、同一个热词每次搜都要重新算一遍向量。
折腾了一圈之后我发现,这些问题最后都没靠“换个更强的模型”来解决。PicIndex 后来真正管用的改动,几乎全发生在模型之外的工程链路里。
能搜出“雨夜街道”,却搜不出一个订单号
向量检索对模糊的画面描述非常友好。你不用记文件名,也不用提前打好标签,凭印象描述个大概,它就能把图捞出来。这确实是我最初想要的效果。
但相册和图库里往往还有另一类图:带字的海报、截屏的合同、报销单据、设备铭牌。找这类图的时候,人的需求一点都不模糊,反而越精确越好。多模态模型能看懂两张海报都在讲“年末促销”,但你让它区分只差一个尾数的单号,它就开始犯迷糊了。
与其指望单个向量把所有事干完,不如让专业的工具干专业的事。我在图片入库链路里加了一道 OCR:搜索时,向量检索负责理解“画面大概是什么”,Elasticsearch 的 BM25 则专门去 OCR 抠出来的文本里做精确匹配。搜“科技感发布会背景”主要靠前者,搜“订单号 A20251014”则全靠后者兜底。
两条腿走路之后,模糊印象和精确字眼都能搜到了。但新的麻烦马上来了:两路各自返回了一批结果,合并时到底听谁的?
两路结果凑一块,怎么排先后?
最直接的障碍是,两边的打分根本不在一个维度上。向量检索算的是余弦相似度,分值老老实实待在固定区间里;而 BM25 的得分上不封顶,词频、文本长度稍微一变,打出来的分数能差出好几倍。
如果简单粗暴地把两个分数直接相加,BM25 动辄十几分的数值瞬间就能把零点几的向量分数淹没。名义上是混合检索,实际上变成了文本检索的一言堂。
为了把两边拉到同一张桌子上,我在 PicIndex 里试过两种路子。
现在默认用的是 RRF(倒数排序融合)。它的逻辑很干脆:不管你打多少分,只看你在各自的榜单里排第几。一张图如果在向量那边排前五,在文本那边也排前五,合并后的总排名自然就靠前。这种做法完全绕开了分数尺度不一致的坑,不需要凑数据集去调参,非常适合个人项目快速落地。
另一种路子是先把两边的分数各自归一化,再做线性加权:
1 | 最终得分 = α × 向量得分 + β × BM25 得分 |
加权的好处是可以按业务场景偏心:找摄影素材就调高 $\alpha$,找票据存档就拉高 $\beta$。但手头没有足够多的测试集做离线评估时,这两个参数很容易变成“凭感觉拍脑袋”。所以我把 RRF 留作了保底的默认项,只在意图特别明确的场景下才切到加权模式。
顺带一提,前端展示的“匹配度百分比”我也单独做了一层转换。直接把 Elasticsearch 的 _score 甩给用户看毫无意义,我用分段映射把它折算成了看着更符合直觉的百分比。当然,这只是一个帮用户快速拉开档次的参考值,并不代表系统真有 92% 的把握认为这张图完美契合。
接口慢,真不一定是模型在磨洋工
刚接好多模态模型那会儿,我是直接把 OSS 里的原图链接生成预签名 URL 丢给模型接口的。功能能跑,但耗时实在难看。现在手机随手拍张照片就是好几兆,分辨率动不动上 4000 像素;哪怕模型服务端内部会自动缩图,它也得先把这几兆的原图硬生生下载完。
最容易想到的改法,是让后端先把图拉下来压小,再传给模型。但这么干纯属给自己找罪受:应用服务器平白无故多扛了一道文件流,内存、CPU 和磁盘全得跟着吃紧。
后来我直接蹭了 OSS 自带的图片处理能力(x-oss-process)。后端在生成预签名 URL 时,顺手在链接后面拼接一串缩放、压质量和转格式的参数。这样原图在存储桶里依然只存一份,但模型顺着链接去拉图时,OSS 边缘节点直接就把瘦身后的小图吐了过去,应用服务器全程连图片字节流都没碰过。
拿手头的测试图跑了一遍,喂给模型的图片体积平均缩水了 85% 左右,Embedding 接口的端到端耗时直接砍掉了 300ms 以上。这件事给我提了个醒:看到调 AI 接口慢,别上来就怪模型推理慢,先看看是不是大文件在网络管道里堵车了。
顺着这个思路,我把图片上传链路也彻底改成了前端直传 OSS。前端传完把 Object Key 塞给后端,后端丢进异步队列慢慢跑 OCR、打标签和算向量。上传接口秒回,服务器也不用再当文件搬运工。
为什么只缓存向量,不缓存搜索结果?
每次用户发起搜索,系统都得先把搜索词塞给模型算出一串向量。像“红色跑车”这种高频词,每次搜都调一遍外部接口,既浪费几百毫秒的等待时间,又白白烧掉 Token 费用。
加缓存是必然的,但怎么加有讲究。最省事的做法是直接把“搜索词 $\rightarrow$ 结果列表”缓存起来,但这在图库场景里是个坑。用户的图库是活的,随时有新图入库、旧图删除。如果直接缓存最终结果,缓存失效策略会写得人头皮发麻,稍微漏掉一个口子,用户搜出来的就是脏数据。
所以我退了一步:只缓存“搜索词 $\rightarrow$ 查询向量”这层映射。
当同一个词(或者去除空格大小写后一致的词)再次出现时,直接从 Redis 里捞出上次算好的向量,带着它去 Elasticsearch 里走一遍实时检索。这样既省掉了最慢的外部模型调用,拿到的又永远是图库里的最新数据。
实测下来,命中 Redis 后,拿查询向量的时间从 500ms 左右直接降到了 20ms 以内。严格来说,这还只是字面级别的缓存,没做到“搜红色汽车自动复用红色跑车”的语义缓存。但要做语义缓存,就得再额外维护一套查询词的向量索引,还得承担近义词误判带来的翻车风险。权衡了一下收益,现阶段真没必要给自己加这层戏。
光靠向量,做不出好用的筛选器
把图片变成向量,只解决了“把看着像的图捞出来”这一步。但人找图往往是个逐步缩圈的过程:先搜“周末露营”,看着满屏结果,脑子里可能会接着冒出新条件——“只要白天的”、“画面里得有帐篷”、“不要有人脸”。
这种硬性的结构化条件,硬塞进向量里算相似度是很吃力的,也没法在页面上渲染成可勾选的筛选框。为了补上这块拼图,我在图片入库的异步任务里又加了一棒:让视觉大模型顺手看一眼图,按固定格式抽取出场景、风格、主体和拍摄时间:
1 | { |
这些抽出来的词清洗过后,作为 keyword 字段存进 Elasticsearch。用户先用大白话搜出个大概,再点选这些标签做二次过滤。体验上就跟逛淘宝按“品牌、材质、尺码”筛商品差不多,只不过图片天生没有这些属性,得靠视觉模型在入库时提前把非结构化的画面“翻译”成结构化字段。
改到这里,PicIndex 里的一张图才算真正立住了:向量管模糊意境,OCR 管精确字眼,结构化标签管条件过滤。三者各司其职,谁也不用越界去干自己不擅长的活。
用 Java 接 AI,其实没那么别扭
很多人看到 AI 项目,第一反应是后端得用 Python。PicIndex 从头到尾都是纯 Spring Boot 写的,我也没有为了调个模型专门去搭一套 Python 微服务。
原因很简单:PicIndex 只负责“用模型”,不负责“训模型”。整个后端干的活——文件直传签名、权限校验、异步任务编排、ES 混合检索、Redis 缓存,外加调几个 HTTP 接口——本来就是 Java 最趁手的老本行。
真正需要在代码里小心伺候的,是别把外部大模型当成平时写的本地方法。它本质上是一个脾气不太稳定的第三方外部依赖:响应慢、随时可能触发限流、偶尔超时,甚至有时候吐回来的 JSON 格式都能给你少个括号。
所以在代码结构上,我把模型调用严严实实地包在了独立的适配层里,超时控制、失败重试、状态机流转和解析兜底全都在这一层消化掉。说白了,在工程视角下,接一个多模态模型,和接微信支付、接第三方短信网关没什么本质区别。模型决定了识别效果的天花板,而外围的工程代码决定了这东西放进系统里会不会三天两头崩给你看。在这件事上,Java 不仅不别扭,反而让人很踏实。
写在最后
目前的 PicIndex 更像是一次把想法落地的工程验证,离十全十美的生产级系统还有段距离。比如混合检索的权重现在主要靠经验微调,手里还没有像样的标注集去做自动化评测;视觉模型抽出来的标签偶尔还是会抽风,异步任务失败后的死信补偿也有待打磨。等以后图库规模再翻几个量级,ES 的索引分片和召回性能也得重新压测。
项目后面还会继续迭代,但我给自己定的标尺一直没变:不管加什么新花样,最后只看三件事——搜得有没有更准?代码有没有更好维护?新引入的复杂度,到底值不值它带来的那点收益?
项目源码:GitHub