关于提高OCR识别准确率的一些优化(二)

关于提高OCR识别准确率的一些优化(二)

  • 前言
  • 一、为什么要判断方向?
  • 二、paddleocr方向分类器
    • 1.方法介绍
    • 2、实际效果测试
    • 3、文本框检测实际效果
    • 4、结果分析
    • 5、解决办法
    • 6、方向检测测试结果
  • 三、paddlex图像分类
    • 1.训练
    • 2.测试结果分析
  • 四、后续优化方向
  • 总结


前言

本文基于关于提高OCR识别准确率的一些优化做出了一些改进和尝试,主要分为以下两点:
1、使用paddleocr方向分类器判断文本方向
2、用paddlex训练一个方向分类器判断文本方向


一、为什么要判断方向?

在我们的数据集中,有很多用户上传的图片,但这些图片有些是颠倒过来的,这种图片如果不经过预处理的话,识别效果会很差,比如:识别结果顺序不对、漏识率很高。经过测试发现将图片转正之后,识别效果会好很多。因此,判断方向并矫正是很有必要的

二、paddleocr方向分类器

1.方法介绍

引用paddleocr官方的介绍:
文字角度分类主要用于图片非0度的场景下,在这种场景下需要对图片里检测到的文本行进行一个转正的操作。在PaddleOCR系统内, 文字检测之后得到的文本行图片经过仿射变换之后送入识别模型,此时只需要对文字进行一个0和180度的角度分类,因此PaddleOCR内置的 文字角度分类器只支持了0和180度的分类。如果想支持更多角度,可以自己修改算法进行支持。

0和180度数据样本例子在这里插入图片描述

2、实际效果测试

rotatetion_0-angle0

图1、paddleocr检测为0度,实际0度
在这里插入图片描述

图2、paddleocr检测为180度,实际90度
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210626083646980.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MTkzOTY5,size_16,color_FFFFFF,t_70#pic_center)
图3、paddleocr检测为180度,实际180度

在这里插入图片描述

图4、paddleocr检测为0度,实际270度

3、文本框检测实际效果

在这里插入图片描述

图5、paddleocr检测为180度,实际90度的检测矩形框

在这里插入图片描述

图6、paddleocr检测为180度,实际180度的检测矩形框

4、结果分析

1、虽然paddle只支持 0度 和 180度 的文本方向检测,但通过观察图5和图6可以发现,虽然两者均被检测为180度,但二者的矩形框是不一样的
2、通过观察图1和图三可以发现,虽然二者的矩形框是一样的,但是paddleocr完全可以检测出二者的方向是不同的
3、结合以上分析结果,我们可以利用矩形框的长宽比来确定文本的方向。

5、解决办法

咱们结合代码来看吧,都在注释里,如下:

def get_real_rotation(rect_list):
    w_div_h_sum = 0
    count = 0
    for rect in rect_list:
        p0 = rect[0]	#p0,p1,p2,p3为矩形框的四个角点坐标
        p1 = rect[1]
        p2 = rect[2]
        p3 = rect[3]
        width = abs(p1[0] - p0[0])
        height = abs(p3[1] - p0[1])
        w_div_h =  width / height	#计算长款比
        if abs(w_div_h - 1.0) < 0.5:	#过滤长宽比差距接近1的矩形框,以免影响检测准确度
            count +=1
            continue
        w_div_h_sum += w_div_h
    if w_div_h_sum / (len(rect_list) - count) >= 1.5:	#长宽比大于1.5的,则paddleocr的检测结果是可信的
        return 1
    else:
        return 0

def get_img_real_angle(img_path):
    ocr = PaddleOCR(use_angle_cls=True)
    angle_cls = ocr.ocr(img_path, det=False, rec=False, cls=True)	#得到paddleocr检测角度
    print(angle_cls)
    rect_list = ocr.ocr(img_path, rec=False)	#得到所有矩形框的角点坐标
    real_angle_flag = get_real_rotation_new(rect_list)

    if angle_cls[0][0] == '0':
        if real_angle_flag:
            ret_angle = 0
        else:
            ret_angle = 270
    if angle_cls[0][0] == '180':
        if real_angle_flag:
            ret_angle = 180
        else:
            ret_angle = 90
    return ret_angle

6、方向检测测试结果

1、跑了几十张图片测试了一下,发现只有60%的准确率,效果不怎么好。
2、可能的原因:

  • 我们的数据比较特殊,需要重新训练paddleocr的方向分类器
  • paddleocr的方向分类器就是不准,跟我们的数据没关系

三、paddlex图像分类

1.训练

1、不得不说说paddlex:能够在一分钟内完成一个图像多分类任务,上手简单
2、于是我马上拿官方例子试了一下,代码如下:

#%%
# 设置使用0号GPU卡(如无GPU,执行此代码后仍然会使用CPU训练模型)
import matplotlib
matplotlib.use('Agg') 
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
import paddlex as pdx
# %%
from paddlex.cls import transforms
train_transforms = transforms.Compose([
    transforms.RandomCrop(crop_size=224),
    transforms.RandomHorizontalFlip(),
    transforms.Normalize()
])
eval_transforms = transforms.Compose([
    transforms.ResizeByShort(short_size=256),
    transforms.CenterCrop(crop_size=224),
    transforms.Normalize()
])
# %%
train_dataset = pdx.datasets.ImageNet(
    data_dir='train_paddlex',
    file_list='train_paddlex/train_list.txt',
    label_list='train_paddlex/labels.txt',
    transforms=train_transforms,
    shuffle=True)
eval_dataset = pdx.datasets.ImageNet(
    data_dir='train_paddlex',
    file_list='train_paddlex/val_list.txt',
    label_list='train_paddlex/labels.txt',
    shuffle=True,
    transforms=eval_transforms)
# %%
num_classes = len(train_dataset.labels)
model = pdx.cls.MobileNetV3_small_ssld(num_classes=num_classes)

#%%
model.train(num_epochs=20,
            train_dataset=train_dataset,
            train_batch_size=32,
            eval_dataset=eval_dataset,
            lr_decay_epochs=[4, 6, 8],
            save_dir='output/mobilenetv3_small_ssld',
            use_vdl=True)
# %%
import paddlex as pdx
model = pdx.load_model('output/mobilenetv3_small_ssld/best_model')
result = model.predict('train_paddlex/0/img_0.PNG')
print("Predict Result: ", result)

3、运行之后。。。。。。。。。。。。。。。。。

报错如下:
在这里插入图片描述
4、于是跑到paddlex交流群询问了一下报错原因,给出的结果是输入的数据路径有问题。
5、经过一番排查,发现路径完全是对的。我的机器是mac,所以我想有没有可能是系统的原因,于是我把代码拿到linux运行。
6、在linux上是完美运行的,于是可以确定是paddlex对mac不太友好,导致报错

2.测试结果分析

1、每个类别使用200条数据训练,训练集准确率为24%
2、每个类别使用2000条数据训练,训练集准确率为40%
3、测试集准确率为10%
可能的原因:
直接使用文本图片训练文本方向分类器是不对的

四、后续优化方向

1、经过一周的各种优化测试,都没有对ocr识别准确率有大的提升,但目前可以确定的是,转正后的图片识别效果是远高于未转正图片的,因此,后期还是会从方向去突破。
2、考虑用自己的数据训练paddleocr

总结

虽然这一周没有提升ocr的识别效果,但明确了提升ocr识别效果的优化方向,踩了一些坑,也算是一些收获吧。

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战&#xff0c;可谓是杀敌无数&#xff0c;见怪不怪了&#xff01;在某知识社交平台中&#xff0c;一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读&#xff0c;可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表&#xff1a;零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时&#xff0c;为空表。 在比较复杂的线性表中&#xff0c;一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言&#xff0c;按照其应用领域&#xff0c;可以粗略地分成三类。 有的语言是多面手&#xff0c;在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类&#xff0c;比如说 C&#xff0c;Java&#xff0c; Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后&#xff0c;该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情&#xff0c;很多情况下&#xff0c;他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言&#xff0c;首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图&#xff1a; 上码&#xff1a; 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况&#xff0c;重点关注在中国市场扮演重要角色的全球及本土铪生产商&#xff0c;呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外&#xff0c;针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…