语音识别再破记录，这个领域究竟哪家强?

近日，一则题为“词错率2.97%：云从科技刷新语音识别世界纪录”文章进入大众的视野，文中的宣传“将错词率（Word Error Rate，WER）降到了惊人的2.97%，较之前提升了 25%，已超越人类专业速记员水平。该成果有望推动语音识别技术的大幅进步，已超越人类专业速记员的水平”的字眼令正在从事语音识别研究的科研工作者和技术提供商一阵错愕，不明真相的群众纷纷认为当前语音识别已经刷无可刷，语音识别技术已经没有门槛，语音识别是已经解决的问题了……

但是事实并不是这样，在LibriSpeech这种简单数据集上“刷”到词错误率2.97%并不困难，语音识别领域仍存在大量的问题需要解决。作为一名关注语音识别技术发展的业内人士，希望能通过本文还原语音研究和产业的真实情况。

语音识别技术（Automatic Speech Recognition，简称ASR）是指让机器可以自动将人的语音转化为文字的一种AI技术。语音识别研究最早开始于20世纪50年代，在早期，有科学家甚至把这项技术和“将水转化为汽油，从海里提取金子，治疗癌症”等并列为不可完成的任务。经过半个世纪的发展，语音识别技术在2011年之后迎来了黄金发展时期：前微软研究院俞栋和邓力研究员首次将DNN在大词汇量语音识别上成功应用，基于神经网络的语音识别技术迅速成为了研究和产业上的投入密集地，在工业界Google和国内的讯飞成为了最早上线基于DNN的语音识别系统的两家公司。经过接近10年的发展，语音识别技术取得了空前的进步，在多个场景下已经达到了实用水平。手机语音输入法、智能音箱、汽车语音交互等产品走入了寻常百姓家，语音识别技术也成为了人工智能中技术落地最早、用户范围最广的技术。国际上Google、微软、IBM、苹果等巨头都将语音技术研究放在很高的地位，国内除了科大讯飞外，百度、阿里、腾讯等巨头也进行了布局，包括思必驰、云知声等创业公司也先后进场，呈现出百花齐放的格局。

语音识别技术发展如此迅速，现在还影响语音识别效果的因素主要有哪些呢？笔者认为主要包括环境因素、说话人因素以及技术因素三个层面：

1、 环境因素：主要是背景噪声和环境混响的影响。典型的场景就是在地铁里用语音输入效果会明显下降，在距离很远的地方去操控音箱也不怎么灵了。

2、 说话人的因素：比如口音明显的人用语音识别很费劲；说话很快、口齿不清的人识别效果也一般。另外就是生僻的专业领域的识别率也不会很高。

3、 技术因素：包括建模方法和训练语料两个方面，比如基于神经网络的系统就是比上一代GMM-HMM系统明显好；训练数据多了，覆盖实际场景多了效果就会更好。

那么，如何客观的评价目前语音识别系统的效果以及各家的技术水平呢？很容易想到的有两种方式：一种是拿到各家的产品，找第三方去做客观的对比。但是这种对比方式操作起来难度很大。首先是各家的产品形态不同，支持的业务不同，支持的说法也不同，不容易做统一测试。其次是有些学术机构技术水平很高，但是没有产品，无法参与对比。最后就是要找到真正客观的第三方也非易事。

另外的一种对比方式就是在公共的评测数据集上，各家拿出看家本领测出最好的效果。这种评测数据集的语种一般是英语，方便在国际范围内进行比较，而这样就的结果就能在很大程度上说明技术实力。

目前类似的测试集很多，难易程度也差别很大，结果相互之间并不可比。比如参加考试的是一群大学生，但是拿了个小学生的试卷来考试，会导致得分没有区分性，容易得到错误的结论。下面就对语音识别领域常见的一些评测数据集进行分析，从结论上就比较容易得出各家的技术水平如何。

1、 SwitchBoard：一个电话通话录音语料库，作为国际通用的语音识别系统的基准，已被使用超过 20 年，具有广泛的影响力。该数据集是真实的电话数据，数据录音质量比较好，但是说话人口音多样，风格多变，是难度较大的测试集。SwitchBoard上最好成绩是微软研究院在2017年8月份取得的WER 5.1%（识别率94.9%）。

2、 CHiME：Computational Hearing in Multisource Environments，始办于2011年，由法国、英国、美国的知名研究机构所发起，目的是希望通过比赛促进学术界和工业界针对高噪声和混响等实际场景提出全新的语音识别解决方案，以进一步提升语音识别的实用性和普适性。赛事吸引了很多高水平的企业和机构参与。

2018年最新一届的CHiME-5比赛数据难度极大，语音识别领域的难点技术都包含在里面：多麦克风阵列录音同步问题；快语速和随意的说话风格；高混响和大环境噪声；大量的语音交叠（鸡尾酒会问题）。据悉很多原计划参赛的机构因为难度太大都没有提交最终的评测结果。国内的讯飞在这个赛事上力压欧美劲敌再次囊括了赛事的所有四项冠军，体现了极强的技术实力。但是，即使是讯飞最好的成绩也只有WER46%（识别率54%）左右，因此这次赛事被讯飞戏称为“史上最难语音识别任务”也不为过。

3、 LibriSpeech、Aurora等：影响力较小、难度低的一些公开集合，这次云从科技使用的LibriSpeech数据集，是1000小时的朗读风格的数据集，信噪比也很高，所以在这种数据集上很容易“刷”出好成绩。

下面就通过一个表格，来从不同维度对数据集的难度进行打分，让大家有个更直观的对比：

通过以上的分析，基本可以得出来几个结论：

1、 国际上的微软和国内的讯飞和是语音识别技术领域的第一梯队，领先优势还不可撼动。

2、 语音识别问题还远没有解决，还需要学术界和工业界一起努力，继续推动技术向前发展。切不可因为某些刻意夸大的宣传导致政府和工业界的投入的大幅度减少，研究大环境需要学术界和工业界来共同呵护和培育。