Jina AI 联合Datawhale,发起学习项目!

Datawhale

共 2016字,需浏览 5分钟

 ·

2022-07-26 07:42

 Datawhale学习 
贡献方: Jina AI 、Datawhale,方向:视频搜索

视频创作者通常需要从大量的素材中找到自己需要的片段来剪辑,可真是心累。作为 Up 主的王德福抓住这一需求和他的小伙伴 Arthur,使用 Jina 搭建起一个跨模态视频搜索引擎,轻松实现输入描述文本,即可得到对应视频片段。

视频地址:https://www.bilibili.com/video/BV1n3411u7tJ

开发背景

作为一个前端程序员兼 Up 主,平时拍摄与搜集的素材库实在太多,在视频制作时,想快速找出想要的视频片段太费劲了,那么有什么办法能节省翻找素材的时间呢?

  • 通过给每段视频素材打上标签?太繁琐,并且太耗时。
  • 通过检索字幕去查找出对应的画面?但只能是人物说了那句话才行,没有说话的画面就无法检索,得到的结果太局限了。

而我想要这个工具能够实现:输入对画面的描述,就能得到视频素材的片段。那么,如何利用 AI 来实现我的需求呢?既要理解自然语言,又要理解视频内容,听起来不像是简单的任务......

技术选型

我了解到 OpenAI 开源的 CLIP 模型,它能够完成图像与文本的匹配任务。也就是说,我们可以通过利用 CLIP 模型实现用描述性的文本,而非关键词搜索到图像,而视频又可以看作是一帧帧的图像。

因此,借助强大的 CLIP 模型,我可以实现一个基于语义的,而非基于关键词的搜索引擎。不同于传统的 ES 全文搜索,我不需要给每个视频素材人为地打上标签,也不需要利用 OCR、正则去做匹配。只需通过 AI 模型,优雅地提取图像和文本的特征向量,通过计算两者的向量相似度,就能返回到我想要的结果,听起来相当完美。

初选方案

一开始,我尝试用纯 Python + CLIP 模型实现了初版方案。

但当时遇到了一些棘手的问题,即向量无法存储。由于没有合适的数据存储方式,做数据库也需要一定开发量,因此我每次都需要重新计算一遍向量,繁琐、耗时又费力。

并且由于项目无法独立部署,导致无法通过前端页面来承载视频片段搜索的能力。而这些都有太多开发成本,对于一个我这样的前端开发者来说,将大部分精力都花费在不熟悉的工作上,太得不偿失了。

最终方案

因此我尝试在开源社区寻找合适的解决方案,发现了 Jina,作为一个专注于神经网络搜索的 AI 框架,正好提供了我原方案里所需的能力。于是,我转变了思路,使用 Jina + CLIP 实现从文本到视频片段的搜索系统。

如果用纯 Python 的方式表示一个视频,需要自己建立一个哈希表,包括 embedding 、图片的存储,结构会很难看。

但 Jina 里的 DocArray 能把这个存储变得非常结构化,不管有多少帧视频,都可以在一个 Document 里做封装。而且可以有不同的层级结构,比方说第一层用于存储整体的视频,第二层用于存储视频下不同的帧......切换不同的模态时,也可以设置成顶层是一整段话,第二层是一个句子,第三层是一个单词。不仅可以通过每个单词进行搜索,也可以通过每句话进行搜索,这样搜索颗粒度选择就更多,搜索结果也会更加丰富。

项目流程

本项目的业务流程分为两大部分:视频的上传和搜索。包括数据向量化、向量相似度比较、结果的召回三个主要流程。具体如下图所示。

首先上传视频,调用 Jina 的 Video Loader,对视频抽帧,并将数据存储到 DocArray 的块里。在 Encode image 里生成向量,最后存储到 DocArray 的 Index 。在搜索时,在 Index 里会对向量的相似度进行打分,最后依据分数排序,得到返回的结果。

在定义服务上,由于 Jina 的工程师已经把逻辑都抽象出来,所以开发时只需要通过一套配置文件就能起整个服务,只需要定义需要哪些模块。就像搭积木一样,把每一个模块搭起来,不用去考虑服务之间的连接和通信。只需要专注如何实现自己的业务,不用操心架构实现的事情。

项目repo:https://github.com/ArthurKing01/jina-clip

学习项目

Datawhale 社区将联合 Jina AI 社区,结合本项目,打造多模态、跨模态应用的系列学习课程。

项目地址:
https://github.com/datawhalechina/DOPMC/issues/67

项目简介

本项目希望通过AI以及向量搜索技术实现一个自动剪辑视频的应用。最终应用可以实现通过输入文字描述来对视频的片段进行提取,达到提取素材的目的。

立项理由

目前社区的课程大部分以算法为主,希望通过该项目帮助学习者完成整个端到端的项目构建过程,帮助学习者锻炼实际工程能力

项目亮点

该项目主要有以下三点内容较为创新:

  • 使用到了跨模态模型

  • 使用到了向量检索技术

  • 搭建了端到端的项目完整构建方案


整理不易,三连

浏览 25
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报