Redian新闻
>
多篇论文入选ICASSP 2023!火山语音有效解决多类实践问题

多篇论文入选ICASSP 2023!火山语音有效解决多类实践问题

公众号新闻


近日由IEEE主办、被誉为世界范围内最大规模、也是最全面的信号处理及其应用方面的顶级学术会议ICASSP2023于希腊召开,该会议具有权威、广泛的学界以及工业界影响力,备受AI领域多方关注。会上火山语音多篇论文被接收并发表,内容涵盖众多前沿领域的技术创新,并有效解决了字音转换、语种混淆等实践问题。


▲ 图片来源:https://2023.ieeeicassp.org/

01




/ ICASSP 2023 /

论文题目:

一种快速、轻量级、高精度的字音转换模型

LiteG2P: A Fast, Light and High Accuracy Model for Grapheme-to-Phoneme Conversion


研究背景:众所周知,字音转换(G2P)旨在将单词转换为其对应的发音表示,通常被广泛应用于语音识别(ASR)及语音合成(TTS)等语音任务中,但现有方法中基于规则的方法预测精度往往较差,还需要大量专家经验的辅助;其中基于数据驱动的深度模型方案虽然精度高,但模型尺寸往往较大且计算效率偏低。对此,火山语音团队提出了一种高效快速、轻量级、高精度的字音转换模型,可进一步适用于多类端侧设备。

方法分析:LiteG2P结合数据驱动和知识驱动的优势,得以在控制模型尺寸较小的同时取得较高精度,模型层面上不同于传统的基于注意力机制的序列到序列预测模型,而是采用CTC损失进行字音的对齐,同时使得模型具备了并行预测音素序列的优势;除此之外,火山语音团队还额外引入了语言知识词典,用以指导字母扩展长度以及缩小目标预测音素集合。


 The architecture of LiteG2P

效果呈现:最终LiteG2P模型相较于主流基线模型具有高精度、并行化、轻量级、快速等优势,与主流基线模型在准确率相当的同时速度提升30倍以上,参数量小10倍以上;可一套模型架构同时部署在端云多种类型设备上,在端侧设备上单个单词的推理速度预测为5ms以内,云端设备2ms以内。


02




/ ICASSP 2023 /

论文题目:

基于双向注意力机制的语音文本的多模态训练提升语音识别性能

Speech-text based multi-modal training with bidirectional attention for improved speech recognition


研究背景:如今,尽管端对端模型简化了训练流程,将声学模型、词典、语言模型合并在一个统一的模型中,但却非常依赖大量的带标签训练数据。相比于带标签数据,不成对的数据,例如纯音频或者纯文本数据更容易获取。为了缓解数据的稀疏性问题,往往会尝试将不成对的数据参与到训练中,有利于在低资源场景下训练出性能良好的端到端语音识别模型。本篇论文正是使用纯文本数据参与端到端模型解码器的训练,使解码器学习到更多的语义信息,从而改善模型性能。此过程需要使用文本编码器去拟合音频编码器的输出,从而解决解码器训练依赖于编码器的问题。由于音频和文本长度不一致,论文提出使用基于双向注意力机制的语音文本的多模态训练方式,自动学习语音和文本之间的对齐关系。

方法分析:具体方式,语音编码器输出与文本编码器输出经过双向注意力计算后,语音编码器输出长度会缩短到文本长度,文本编码器输出会拓展到音频长度。双向注意力机制的输出会使用Cosine distance loss、MLM loss、Grapheme CTC loss来进行训练,在训练过程中模型会学习到语音和文本之间的对齐,并且语音编码器和文本编码器能学习具备一致性的特征。

 基于语音文本的双向注意机制多模态学习框架



如图所示,虚线框内是训练中增加的模块和损失函数,在解码时不会参与计算,所以不影响解码时期速度。Grapheme CTC loss 的作用是对经过重采样的语音嵌入和文本嵌入进行 Grapheme 的分类,MLM Loss 作用则是使文本编码器能够学习语义信息,Cosine Embedding loss 是为了拉近语音嵌入与文本嵌入之间的距离。这三个损失函数都是建立在双向注意力机制计算出来的、经过对齐的语音嵌入和文本嵌入上,从而隐性让嵌入之间获得对齐。经过语音和文本多模态训练后,文本编码器可以生成接近语音编码器输出的特征,火山语音团队使用纯文本数据送进Text encoder随后重复两次,减小语音和文本之间长度差异,用于解码器的训练,使其学习更多的语义信息。


效果呈现:经过本论文提出的语音和文本多模态训练方式,在Librispeech公共数据集上获得性能提升,得出仅使用带标签数据训练时,可以实现达6.15%的相对词错误率提升;当使用更多的非配对文本数据时,相对词错误率提升可以达到9.23%。


03




/ ICASSP 2023 /

论文题目:

利用字符级别语种分割减少跨语种语音识别中的语种混淆

Reducing Language Confusion for Code-switching Speech Recognition with Token-level Language Diarization


研究背景:通常,语种转换发生在语音信号的语种变换时会导致跨语种语音识别的语种混淆问题。对此,火山语音团队从融合和解耦语种信息两个角度解决语种混淆问题,从而提升跨语种语音识别的性能。

方法分析:具体来说对于融合语种信息的过程,团队通过使用一个基于序列对序列的语种分割的副任务来生成字符级别的语种后验概率,并使用语种后验概率来动态调整跨语种语音识别模型;相反解耦的过程则是通过对抗减少不同语种间的差别,从而将不同语种归一化。两种不同方法实现构架如下图所示:

 The hybrid CTC/attention model (a) incorporating language information using language posterior bias, and (b) disentangling language via adversarial learning

效果呈现:我们将提出的方法在SEAME数据集上进行了验证。和基线模型相比,结合了语种分割任务的多任务训练和团队提出的语种后验概率偏置方法均取得了性能提升。“与此同时,将融合和解耦语种信息的两种方法进行了比较,我们发现比较结果表面融合语种信息,可以更有效地提升跨语种的语音识别性能。”团队强调。


04




/ ICASSP 2023 /

论文题目:
一种无需ASR的基于自监督学习的流利度评分方法
An ASR-free Fluency Scoring Approach with Self-supervised Learning


研究背景:口语流利度,即发音语速快慢以及是否出现异常停顿,是反映对应习得语言熟练程度的重要指标之一。此前的大多数判断方法往往需要借助ASR系统获得语音单元(例如单词、音节、音素等)的时间对齐信息,基于此来进一步计算或表示语音流利度的特征,但目标语言的ASR系统并非总能轻易获得以上信息,此外在过程中还会产生不可避免的识别错误。对此火山语音团队提出了一种崭新且无需ASR系统的、基于自监督学习的流利度评分方法,也就是利用自监督预训练语音模型Wav2vec 2.0 产生的帧级语音表征,以及经过聚类算法生成的帧级伪标签,作为后续序列模型的输入,最终完成流利度分数的预测。


 The proposed ASR-free fluency scoring framework

效果呈现:后续实践结果表示,该方案在机器预测结果和人类专家打分之间的相关性达到了0.797, 明显好于之前依赖ASR系统的方法所达到的0.759。方案利用了自监督语音特征强大的音素鉴别能力,使用帧级聚类伪标签序列来模拟基于ASR的音素时间对齐,不仅移除了对ASR的依赖而且展现了更可靠的评分性能。

05




/ ICASSP 2023 /

论文题目:

利用音素级别的语言-声学相似度进行句子级别的发音评分

Leveraging Phone-level Linguistic-Acoustic Similarity for Utterance-level Pronunciation Scoring


研究背景:所谓自动发音评分系统往往需要度量学习者实际发音和参考发音的偏离程度来估计整体的发音准确度,但以往方法大多数是通过加和或者连接声学嵌入和音素嵌入等这些隐式方式来实现的。对此,火山语音团队提出了利用音素级别的语言-声学相似度进行句子级别的发音评分方法, 相比于隐式的度量方式,通过声学嵌入和音素嵌入的余弦相似度去显式描述实际发音和参考发音的偏离程度的方法效果更好,并将此作为额外特征与原有的两种嵌入序列一起融入后续的序列模型,来完成最终发音准确度的评分。


 The hierarchical architecture of the pronunciation scoring network, where phone-level features can be calculated by using add_phone, concat_phone or our proposed method


效果呈现:这种显式的度量方法在内部与公开数据集上被证实明显优于以往的加和与连接的隐式度量方法,也就是说基于音素级别GOP的预训练在所有的度量方式上均取得了较大提升;结合语言-声学相似度的显示度量和GOP预训练的打分系统取得了最佳评分性能,其机器预测结果和人类专家打分之间的相关性达到了0.858,显著高于论文报告的多个基线系统。


06




/ ICASSP 2023 /

论文题目:
基于内部语言模型估计的跨域自适应的语言模型融合
Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation


研究背景:只要在通用领域或特定目标领域有足够多的文本,内部语言模型融合就能显著改善端到端语音识别性能。但当一个通用领域商业语音识别系统部署后,由于数据访问受到限制,用户往往只具有与自己相关的特定目标领域文本数据,也就是说由于数据保密等原因,用户不能获取原通用领域文本数据,因此通过内部语言融合的自动语音识别系统只能在用户特定的领域获取性能改善,而在通用领域性能上则会造成损伤、显著降低。基于上述原因,论文提出一种在用户只具有特定目标领域文本数据前提下,相对传统的内部语言模型估计融合方法,实现在特定领域获取性能显著改善,而在通用领域仍然能取得较好性能的自适应性语言模型融合方法。

方法分析:该方法基于内部语言模型估计,前提是当一个语音识别系统交付上线后,提供用户访问的子系统有端到端语音识别系统以及内部语言模型。用户只需关注自己特定领域的语言模型,就能获取在特定领域性能明显改善,并且在通用领域性能达到很小损失的结果。具体做法,识别系统在做语言模型融合的时候,比较基于每个子词在内部语言模型和用户特定语言模型的得分,根据大小来决定是否做内部语言模型融合,实现所谓的自适应融合功能。


效果呈现:为验证该方法的有效性,火山语音团队以10万小时训练得到的中文语音识别系统为通用领域识别系统,另外将医疗和小说搜索定义为特定领域,结果证明可以在特定领域取得18.6%相对字错误率降低,而在通用领域只有2.4%的相对字错误率的升高。

一直以来,火山语音团队面向字节跳动内部各业务线,提供优质的语音AI技术能力以及全栈语音产品解决方案,并通过火山引擎对外提供服务。自 2017 年成立以来,团队专注研发行业领先的 AI 智能语音技术,不断探索AI 与业务场景的高效结合,以实现更大的用户价值。




🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧


·
·
·

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
凯文·凯利:AI能解决多少问题,也能引发多少问题仅限10人!“文献计量分析及论文发表”培训,本次由发表了20多篇SCI的大咖引领,以高质量SCI论文为目标此「错」并非真的错:从四篇经典论文入手,理解Transformer架构图「错」在何处分析过688篇大模型论文,这篇论文综述了LLM的当前挑战和应用985大学教授出轨女学生:送多篇顶级学术论文,帮她成副教授!川大、华南理工回应事件…消除动效研发成本:腾讯 PAG 动效解决方案【𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶无痕内裤】49元三条!巨巨巨好穿 !!简直就是辣妹顶配,食品级冰箱收纳盒【一日团】六十八 虎穴除奸【美国春天四月樱花复活节赞美诗三部曲原创艺术节33/250】我在春天创作《复活节小鸟》& 《宗教题材国际要闻简报,轻松了解天下事(0404月21日:如何有效解决问题?炸裂!最新CVPR2023、ICML2023、AAAI2023、ACL2023论文+Code大合集!适合中年女人的追求CVPR 2023最佳论文候选出炉!武大、港中文、商汤等国内机构多篇入选2022&2023 Subaru Outback 和 2023 Honda CRV Hybrid二选一直播预告:如何经济高效解决复杂网络芯片系统级验证难题好机会!“文献计量分析及论文发表”培训,本次由发表了20多篇SCI的大咖引领,以高质量SCI论文为目标【附PDF】整理了114篇医疗论文,含cvpr2023医疗论文+经典论文+医疗论文综述等CVPR 2023最佳论文候选出炉,12篇上榜!武大、港中文、商汤等国内机构多篇入选信工所14篇论文被顶级国际会议ACL 2023录用,一文速览!我与大海有个约——清明祭父随笔(2023)突发!美团联合创始人王慧文入院就医!张贵林、徐长宁双双落马!俄央行最新宣布:正常交易六十七 觉醒今天,火山语音团队携数字人亮相FORCE原动力大会了CVPR 2023上AIGC大爆发!46篇论文、代码和数据集汇总厉害国, 承载着人类的恩怨灌水:关于复活节兔子和传说发表了20多篇SCI的大咖引领,以SCI论文为目标;“文献计量分析及论文发表”培训,仅剩3个名额!《科学》11篇论文齐发,理解人类的新时代来了!;午睡时间过长或增加肥胖及高血压风险|本周论文推荐𝐂𝐚𝐥𝐧𝐢𝐊𝐞𝐚𝐧双皮奶内衣裤,软弹有度,上身0束缚~反智商税终于在抖音有流量了“整篇论文没有我自己写的东西”:论文是AI写的,算学术不端吗?Prompt解锁语音语言模型生成能力,SpeechGen实现语音翻译、修补多项任务基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023【最后一个名额】发表了20多篇SCI的大咖引领,以SCI论文为目标,“文献计量分析及论文发表”培训本周六开始!本校学生记者发文打假,全球知名大学校长辞职,多篇顶刊论文被撤!曾有研究成果被认为应获诺贝尔奖超强大的 Nginx 可视化管理平台 Nginx-Proxy-Manager 中文入门指南语音合成模型NaturalSpeech 2:只需几秒提示语音即可定制语音和歌声国际要闻简报,轻松了解天下事(0404月18日:如何有效解决问题?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。