如何快速找到冰墩墩的兄弟姐妹???

Mix Lab味知实验室

共 3499字,需浏览 7分钟

 ·

2022-02-15 10:11

体验地址见文末



opus

查找和#冰墩墩相似图片,这种应用是如何实现的??

首先,我们需要了解图像搜索引擎所采用的AI是哪一类型的。

shadow


图像搜索属于认知类的AI应用,具备高准确率。此类技术由于深度学习的飞跃式发展,准确率已经超越了人类。

认知类的AI有许多应用:内容定位(音乐搜索、图像搜索)、人脸识别(不怕脸盲)、文本-语音转换、机器翻译(不用查字典)等等。

此类应用弥补了人类在认知能力上的能力不足(缺陷)。因为没有人可以在海量,比如1TB或者1PB的数据中找到自己想要的数据。人类查看一条条数据,当数据量成千上万的时候,效率开始低下;反而机器,不会疲劳,而且计算速度非常快,可以短时间阅读海量数据,找到自己需要的数据。

拓展阅读:普林斯顿大学Arvind Narayanan发表的一个关于AI应用的演讲ppt
《How to recognize AI snake oil》


# 体验设计


确实,从海量的数据中找寻到用户想找的数据,此类应用已经具备了较高的准确率;但是仍然有一些设计上的问题需要解决,我们如何帮助用户把想找的数据的模样描述清楚,清楚到机器可以准确理解。需要体验设计师好好思考这个问题,粗暴的解决方案就是通过表单的方式,把各种选项让用户填写,尽量是通过选择题的方式(但这并不是一个优雅、简洁的方案)。

如何把用户的需求转化为机器语言,这是体验设计需要重点考虑的问题。


# 反向图像搜索

Reverse Image Search


反向图像搜索允许用户在互联网上找到最相似的图片。可以按图片、关键字或图片的 URL 进行搜索,常用来寻找现有图片的原始出处,或者低分辨率缩略图的原始大图,或者是查找来源。

Reverse image search allows you to find the most similar pictures over the internet. You can search by image, by keyword, or by the URL of the picture to find photos, memes, profile pictures, and wallpapers along with their sources.



包括我们常说的以图搜图(比较优雅的名称叫可视化搜索) 让你能够使用图像替代文本在 Web 中搜索。你可以使用图像查找相同的图像及产品、查看其他网站,甚至还可以获取食谱。

以图搜图有这些应用:电商搜同款、图片搜索、安防监控、药物检索、盗版检测、纺织面料、视频摘要、艺术创作……


# 案例/灵感

下面分享几个案例和灵感:


[ 这是什么动画 ]


一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画的详细介绍,动漫爱好者找动画出处的好帮手!


作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后,只需要编写几个脚本来将所有代码放在一起。为了分析视频,作者使用 ffmpeg 将每个帧作为 jpg 文件提取,每帧的时间作为文件名。然后利用 Lire 的 ParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后,作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。

Lire 是 java 语言基于 lucene 的框架,支持使用 Solr ,而 Solr 是一个高性能,采用 Java5 开发,基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库,对于 NodeJS 开发者也是非常友好的。

创建以图搜图引擎的步骤相当简单,基于  opencv 的一些传统图像算法,提取颜色和纹理特征,例如图像的颜色、轮廓、直方图等信息,作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能,比起传统的基于关键词搜索,搜索效果更佳。

LIRE于2021.4.23 宣布停止维护更新 

- End of Life reached for LIRE .This project is no longer maintained. I want to thank all those who helped, found kind words of support, and cited LIRE in their academic work. dermotte/LIRE: Open source library for content based image retrieval / visual information retrieval. (github.com)



[ EagleEye ]


跟踪你的朋友。使用图像识别和反向图像搜索查找他们的Instagram,FB和Twitter个人资料。


至少需要一张您要找的人的图像以及有关其姓名的线索。将这些数据输入EagleEye,它会尝试查找此人的Instagram,Youtube,Facebook和Twitter的个人资料,通过人脸比对,定位出你所需要寻找的目标人物。



[ image-match开源项目 ]


图像匹配很简单,代码的实现基于论文 An image signature for any kind of image, Wong et al. reference implementation。

用于从库中查找近似图像的包。它与pHash类似,可以轻松扩展到数十亿张图像。

PLEASE NOTE:该算法旨在发现几乎重复的图像——比如版权侵犯检测。它的目的不是寻找概念上相似的图像。



[ shutterstock ]


美股上市公司 Shutterstock 作为全球第一大微利图库公司,是全球最大的以会员订阅模式下载图片的图库公司,目前公司市值16.49亿美元!


Shutterstock 四项创新功能:

  • 细化搜索,然后选中最佳结果。计算机视觉技术将发现具有相同外观和感觉的图片。


  • Shutterstock Reveal任选一张网络图片,Chrome 扩展会从收藏中精心挑选出与之相符的图片 - 不仅免版税,而且随时可供您使用。


  • 组合搜索您的图片需要一个特定的布局吗?将关键字添加到画布,并放置在您希望对象显示的位置。


  • 复制空间想要在图片上添加文本?使用此新功能找到,带有恰好复制空间的图片。




[ AI-Powered API ]


Evertrove API是一种AI驱动的图像和视频搜索API。使用Evertrove,你可以简单地上传图像或视频,并在它们之间实时搜索。让客户快速找到他们想要的东西,从而提高转化率和用户体验!




[ 自动标注+以图搜图=?]


图片或者文本,我们都可以先做自动标注(目标检测、命名实体识别),然后再扩充丰富相似信息。

- 结合了目标检测的以图搜图。biying的以图搜图,先是识别图里的物体(目标检测),然后点击物体,再调用以图搜图。

- 同样的原理,在文本搜索中,我们也可以结合命名实体识别,先识别人物、机构等实体词,然后再搜索。



[ 灵感:免费图片版权引擎 black hole ]


网上有大量的免图片版权网站

freephotos.cc/zh

www.foodiesfeed.com

www.reshot.com

stocksnap.io

unsplash.com


基于它们的图片,我们可以用爬虫收集下来,然后构建我们的一个图片搜索引擎,对外提供一个以图搜图的接口。

使用的场景是这样的:

STEP1

用户写完文章、配好图

STEP2

把文章中的图片,以图搜图的方式,进行查询

STEP3

根据一个相似度的阈值,判断图片是否免费可商用

STEP4

输出可免费商用的图片标记



[ immerse 设计灵感 ]

www.immerse.zone/zh-CN

由社区成员 ML1216 投稿


支持文字、图片、画图搜索, 搜图片、gif动图、名人名言。



--- 持续更新中 ……

opus

每个行业都有不同的搜图需求,如果大家感兴趣,欢迎加群告诉我们:只要关注人数足够多,Mixlab 随时为大家特邀发起 『 各类专题内容或者线上、线下专场讨论』!


一个人的探索有些孤单,一群人的探索会更有意思。 



即将发布

备注:白皮书

浏览 42
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报