Vedastr:基于PyTorch的场景文本识别工具箱

共 1804字,需浏览 4分钟

 ·

2020-07-21 22:18

加入极市专业CV交流群,与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度 等名校名企视觉开发者互动交流!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~

就在明天极市平台与重磅邀请到ICML 2020杰出论文一作魏恺轩,为我们深度讲解论文相关工作:免调试即插即用的近端优化算法请大家锁定直播时间7月22日(周三)20:00。详情戳这里,在极市平台后台回复“62”,即可获取直播链接本次直播由极市平台和中国图象图形学学会青年工作委员联合组织。

1. Vedastr的特性
STR(Scene Text Recognition)的任务是识别文字框中的内容。我们在做关于STR的项目时发现,相关开源的toolbox较少,调研后发现现有的toolbox存在以下几个问题:
  1. 模块化程度较低

  2. 提供可配置接口较少

  3. 更新维护较少


基于此,我们在调研了一系列的STR相关论文的基础上,构建了一个基于PyTorch的STR的toolbox——Vedastr,具有以下几个特性:


  1. 模块化

  2. 易拓展性

  3. 配置简单

  4. 较完善的日志系统

  5. 及时的更新维护


Vedastr项目链接:https://github.com/Media-Smart/vedastr



2. Vedastr的运行方式
2.1 配置文件


Vedastr提供了开放式接口,可以在config文件配置相关参数。比如,我们配置optimizer和learning rate scheduler的参数:


optimizer = dict(type='Adam', lr=0.001)lr_scheduler = dict(type='StepLR', max_epochs=3, milestones=[100000, 200000])

2.2 Train、test和demo


  • Train

python tools/train.py config-path


  • Test

python tools/test.py config-path checkpoint-path

  • Demo

python tools/demo.py config-path checkpoint-path img-path

3. 预训练模型
3.1 使用Vedastr复现的模型性能


Vedastr目前支持基于attention、ctc、fc和transformer的str方法。我们复现了几个STR模型,你可以在Benchmark and model zoo找到他们。下面是我们的一些复现指标:
7b017014383b5461177cc230ceb13892.webp
  • TPS-ResNet-BiLSTM-Attention:What Is Wrong With Scene Text Recognition Model Comparisons?

  • Small-SATRN:On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention


3.2 使用预训练模型实现一个demo


举个简单的例子:


  1. 下载 TPS-ResNet-BiLSTM-Attention

  2. 下载vedastr,按照Installation进行安装

  3. 激活conda环境,运行demo文件,识别的结果就会显示在你的终端窗口上


python tools/demo.py configs/tps-resnet-bilstm-attention TPS-ResNet-BiLSTM-Attention.pth input-img

input-img:


4c59f53449954a9f7d11d7789bb65d89.webp8bcc28b18a2c8dcabacec284463196b0.webp
终端窗口:


8455010ce9814b89660edd8a409b56e0.webp
Vedastr项目链接如下,欢迎使用和star!https://github.com/Media-Smart/vedastr


推荐阅读



添加极市小助手微信(ID : cv-mart),备注:研究方向-姓名-学校/公司-城市(如:目标检测-小极-北大-深圳),即可申请加入极市技术交流群,更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流一起来让思想之光照的更远吧~

△长按添加极市小助手
△长按关注极市平台,获取最新CV干货
觉得有用麻烦给个在看啦~  92db8d2c17e9db1446d5ddd6ebb7c30b.webp
浏览 52
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报