公开信息

基于语音的动作生成方法、装置、电子设备及存储介质

专利类型：

发明授权

申请(专利)号：

CN202211435101.2

申请日：

2022-11-16

授权公告号：

CN115762574B

授权公告日：

2026-06-26

申请人：

科大讯飞股份有限公司

地址：

230088 安徽省合肥市高新开发区望江西路666号

发明人：

何山; 周良; 殷兵; 刘聪; 戴礼荣

专辑：

信息科技

专题：

电信技术

主分类号：

G10L25/57

分类号：

G10L25/57;G10L25/03;G06F18/25;G06F18/2431;G06N3/0455;G06N3/0464;G06N3/042;G06N3/08

国省代码：

34

页数：

21

代理机构：

北京布瑞知识产权代理有限公司

代理人：

尚文文

主权项：

1.一种基于语音的动作生成方法,其特征在于,包括：确定目标语音中包含的动作意图,并确定与所述动作意图相匹配的第一动作序列；以及,将所述目标语音输入预先训练得到的韵律特征提取模型中,得到所述目标语音的语音韵律特征,并基于所述语音韵律特征预测得到与所述语音韵律特征相匹配的第二动作序列；对所述第一动作序列和所述第二动作序列进行融合处理,生成与所述目标语音相匹配的动作序列；其中,所述韵律特征提取模型的训练过程包括：将样本语谱图输入韵律特征提取模型,得到所述韵律特征提取模型从所述样本语谱图中提取的韵律特征；利用所述韵律特征,以及所述样本语谱图的声纹特征和文本特征进行语谱图重建,得到重建语谱图；基于所述样本语谱图与所述重建语谱图,计算得到语谱重建损失；利用所述韵律特征进行声纹特征重建和文本特征重建,得到重建声纹特征和重建文本特征；基于所述声纹特征和所述重建声纹特征,计算得到第一对抗损失,以及,基于所述文本特征和所述重建文本特征,计算得到第二对抗损失；以所述语谱重建损失小于预设的第一损失阈值,以及所述第一对抗损失和所述第二对抗损失大于预设的第二损失阈值为目标,对所述韵律特征提取模型进行运算参数修正。

摘要：

本申请提出一种基于语音的动作生成方法、装置、电子设备及存储介质,该方法包括：确定目标语音中包含的动作意图,并确定与所述动作意图相匹配的第一动作序列；以及,从所述目标语音中提取得到语音韵律特征,并基于所述语音韵律特征预测得到与所述语音韵律特征相匹配的第二动作序列；对所述第一动作序列和所述第二动作序列进行融合处理,生成与所述目标语音相匹配的动作序列。上述方案通过多维度的信息生成了与目标语音相匹配的动作序列,从而使得生成的与目标语音相匹配的动作序列更准确,并且更加自然、协调。

查看法律状态