基于PyTorch的端到端神经自动语音识别(ASR)开源工具包ESPRESSO介绍

前言

来自美国和中国的研究人员发表了一篇题为ESPRESSO: A fast end-to-end neural speech recognition toolkit的文章。在论文中,研究人员介绍了一个开源的、模块化的、端到端的神经自动语音识别(ASR)工具包ESPRESSO。该工具包基于PyTorch库和FAIRSEQ,即神经机器翻译工具包。
该工具包支持跨GPU和计算节点的分布式培训,以及ASR中常用的解码方法,如基于单词的前瞻语言模型融合。
ESPRESSO的解码速度比ESPNET等类似系统快4到11倍,在LibriSpeech、WSJ和Switchboard等数据集上实现了最好的ASR性能。


一、ESPnet的局限性

ESPnet是一个端到端的语音处理工具包,它有一些局限性:

- ESPnet代码不容易扩展,并且由于它对深度学习框架PyTorch和Chainer的混合依赖,还存在与可移植性相关的问题。

- 它使用了一种基于slow beam search算法的解码器,这种算法速度不够快,无法快速完成实验。

为了解决上述问题,研究人员引入了ESPRESSO。有了ESPRESSO,通过扩展标准的PyTorch接口,可以将新模块引入系统。

研究论文写道:“我们设想ESPRESSO可以成为统一语音+文本处理系统的基础,并为未来的端到端语音翻译(ST)和文本到语音合成(TTS)系统铺平道路,最终促进ASR和NLP研究社区之间的更大协同作用。”

二、ESPRESSO建立在设计目的上

ESPRESSO的语音数据遵循Kaldi的格式,Kaldi是一个语音识别工具包,其中的话语以Kaldi定义的SCP格式存储。研究人员参考ESPNET,并使用了80维对数梅尔特征以及额外的间距特征(每帧83维)。 ESPRESSO还遵循FAIRSEQ的“数据集”概念,其中包含一组训练样本和摘要。基于同样的概念,研究人员在ESPRESSO中创建了数据集类:

1.data.ScpCachedDataset

该数据集包含从语音话语中提取的实值声学特征。从该数据集提取的训练批次是形状的实值张量[BatchSize×time frame length×FeatureDims],它将被馈送到神经语音编码器。由于声学特征很大,并且不能一次加载到内存中,研究人员还实现了分片加载,其中一旦先前的大部分被消耗用于训练/解码,就预先加载大部分特征。这也平衡了文件系统的输入/输出负载以及内存使用。

2.data.TokenTextDataset

该数据集以文本形式包含语音转录,其中训练批次是整数值形状张量[BatchSize × SequenceLength]。

2.data.SpeechDataset

data.SpeechDataset是上述数据集的容器。从该数据集中抽取的样本包含两个字段,分别包括指向源和目标语音和语音转录。


三、在LibriSpeech、WSJ和Switchboard数据集上实现最先进的ASR性能

ESPRESSO为各种数据集提供运行脚本。研究人员在《华尔街日报》(WSJ),一个80小时的英文报纸演讲语料库、《Switchboard(SWBD)》,一个300小时的英文电话演讲语料库和一个包含大约1000小时英语演讲的LibriSpeecha语料库上给出了运行脚本。

ESPRESSO的数据集有自己的额外文本语料库,用于训练语言模型。这些模型使用Adam进行优化,Adam是一种用于随机优化的方法,初始学习率为10-3。如果一个时期结束时验证集的指标没有显示出比前一个时期有所改善,则该比率减半。在这种情况下,学习率低于10-5,训练过程也停止。

学习用于LibriSpeech或WSJ/SWBD epoch,因为它可以防止训练差异,提高性能。NVIDIA GeForce GTX 1080 Ti GPU用于训练/评估模型。本文采用FAIRSEQ内置分布式数据并行机制,用2个GPU对所有模型进行训练。

总之,研究人员在本文中介绍了ESPRESSO工具包,并为LibriSpeech,WSJ和Switchboard数据集提供了ASR脚本。该论文写道,“通过与FAIRSEQ共享底层基础架构,我们希望ESPRESSO将促进未来在语音和自然语言处理方面的联合研究,特别是在语音翻译和语音合成等序列转换任务方面。”

要详细了解ESPRESSO,请查看这篇文章。

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表:零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时,为空表。 在比较复杂的线性表中,一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言,按照其应用领域,可以粗略地分成三类。 有的语言是多面手,在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类,比如说 C,Java, Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后,该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情,很多情况下,他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言,首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图: 上码: 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况,重点关注在中国市场扮演重要角色的全球及本土铪生产商,呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外,针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…