科大讯飞声音复刻与超拟人能力迎突破 语音合成技术再升级

6月26日，科大讯飞语音合成技术迎来全新升级，一句话声音复刻与超拟人合成两大核心能力实现突破。专业测评数据显示，公司一句话声音复刻技术在相似度、准确度等维度处于行业领先水平。

科大讯飞研究院院长刘聪表示：“我们希望声音不止于工具，更成为承载情感与个性的新维度，赋能更多场景行业、催生更多可能。”

2024年4月，讯飞星火APP上线“一句话声音复刻”功能，广受用户好评。本次技术突破，除星火语音大模型底座的基础和持续迭代外，还构建了一套三阶段层次化语音建模框架：首先通过星火底座大模型精确捕捉发音规律和韵律特征；其次，在音色恢复阶段解耦并重构声学特征；最后，通过高精度声码器恢复高保真波形。

据悉，在智能语音领域，声音复刻效果的核心指标围绕相似度与准确度两大维度展开。相似度决定“第一耳印象”，包含音色特质及风格韵味；准确度则关乎声音复刻是否好用，确保发音标准、停顿自然、语气连贯。

本次科大讯飞在声音复刻场景针对性进行两项关键技术的尝试与突破，一是音色编码增强，即在声学模型中创新性地融合全局声纹嵌入与局部帧级音色编码，提取细粒度音色特征，并构建声纹空间语义一致性损失函数，显著提升音色恢复的相似度；二是强化学习，通过语音鲁棒性评价模型和人工标注构建偏好数据集，采用基于DPO的强化学习策略，大幅提升合成语音的稳定性和自然流畅度。

从曾经要录上数十个小时的语音素材，到录入几段话，再到现在仅用一句话就能复刻声音，语音合成技术一直在向更快、更好、更易用的方向进阶。业内人士表示，一句话复刻技术的突破，显著降低了应用门槛，在AI赋能千行百业的大背景下，让更多的场景和行业衍生出更多的个性化需求。

值得一提的是，在需要深入交流的场景里，仅有相似音色并不足够。科大讯飞本次突破的超拟人合成技术，重点是赋予AI声音以“上下文情商”。通过研发上下文感知的语音生成系统，融合历史文本及对应音频特征，实现跨模态编码器分析上下文，让AI声音能像真人一般敏锐响应情绪转变和话题转换，整体自然度接近真人水平。

当前，科大讯飞AI语音技术已在各行各业落地生根，其中智能座舱领域应用成果最为显著。今年初，蔚来在“Banyan 榕 3.1.0版本”中为NOMI助手引入的超拟人情感音色，正源于科大讯飞的深度赋能，搭载该技术的蔚来新车型（如ET9、新ES6/EC6/ET5系列等），成为行业首款应用AI生成式语音合成框架的车型。除蔚来外，奇瑞、广汽、长城、日产、本田等主流车企均选择了讯飞超拟人技术。

其他行业方面，星火语音大模型技术底座已服务全国5万余所学校、600家医院及众多金融机构。

在教育领域，星火大模型赋能的AI学习机已能像真人教师般开展多轮对话诊断学情，为学生定制个性化学习路径；在数字内容创作领域，讯飞智作平台的超拟人数字人技术实现“一张照片+一句话录音”定制专属虚拟人，该技术已帮助天津大学教师打造慕课个人IP，简化教学视频制作流程；在医疗领域，搭载情感合成技术的导诊机器人使用方言与老年患者交流时，对话自然度提升200%。