预锻炼阶段是根本，能够选择冷启动或继续预锻炼两种体例。冷启动从零起头锻炼，而继续预锻炼则基于已有的文本言语模子进行适配，后者凡是能获得更好的结果。环节正在于若何无效对齐文本和语音的暗示空间，使模子可以或许充实操纵两种模态的配合消息取互补消息。

　　言语模子（Language Model）是整个系统的焦点，次要采用基于 Transformer 的自回归架构。通过扩展词汇表实现同时处置文本和语音 token，实现实正的多模态建模能力。

　　想象一下，若是 AI 可以或许像人类一样天然地进行语音对话，不再需要保守的「语音转文字（ASR）- 文本大模子处置（LLM）- 文字转语音（TTS）」的繁琐流程，而是间接理解和生成语音，那将是如何的体验？这就是语音大模子（语音言语模子，SpeechLM）要处理的焦点问题。

　　语音交互的将来不只正在于理解和生成，更正在于若何实现实正天然的对话体验。保守的语音交互采用「你说完我再说」的模式，为了让 AI 具备这种天然对话能力，研究者们正正在开辟具有及时交互能力的 SpeechLM。

　　保守的语音交互系统存正在三大痛点：消息丢失、延迟严沉、错误累积。当语音转换为文字时，腔调、语气、感情等副言语消息完全丢失；多个模块导致响应延迟较着；每个环节的错误会层层累积，最终影响全体结果。

　　这篇即将正在 ACL 2025 从会议上颁发的综述论文，不只是对 SpeechLM 范畴的全面梳理，更是对将来成长标的目的的深切思虑。我们相信，跟着手艺的不竭前进，SpeechLM 将完全改变人机交互的体例，语音 AI 的新。

　　最令人兴奋的是副言语学使用，SpeechLM 可以或许理解和生成带有特定感情、腔调和气概的语音。它不只能识别措辞者的情感形态，还能按照指令生成响应感情色彩的语音回应，让人机交互变得愈加活泼天然。

　　本论文深切分解了 SpeechLM 的手艺架构，发觉其由三个环节组件形成：语音分词器、言语模子和声码器。

　　后对齐阶段则通过人类反馈强化进修等手艺，进一步优化模子的输出质量和平安性，确保生成的语音既天然又合适人类偏好。

　　从动评估涵盖了暗示质量、言语学能力、副言语学特征、生成质量和多样性、及时交互能力以及下逛使命机能等多个维度。每个维度都有响应的目标和基准测试，为模子比力供给了客不雅尺度。

　　SpeechLM 的呈现完全改变了这一场合排场。它可以或许端到端地处置语音，既保留了语音中的丰硕消息，又大幅降低了延迟，正天然的人机语音交互铺平了道。

　　锻炼一个高质量的 SpeechLM 需要细心设想的锻炼策略。我们的综述细致梳理了当前支流的锻炼方式，包罗三个环节阶段。

　　声码器（Token-to-wav Synthesizer，完成从笼统暗示到具体语音的最初一步转换。

　　环节冲破正在于全双工建模手艺，它包罗两个焦点特征：用户中缀能力，即模子能够被用户打断并恰当响应；同时响应能力，即模子可以或许正在处置输入的同时生成输出。通过流式处置和全双工架构，SpeechLM 可以或许支撑实正的双向同时通信，让人机交互变得愈加天然流利。

　　正在措辞人相关使用中，SpeechLM 展示出了强大的措辞人识别、验证和分手能力，这为个性化语音帮手和多人对话系统斥地了新的可能性。

　　出格值得关心的是平安性问题。SpeechLM 可能生成无害内容或泄露现私消息，若何成立无效的平安防护机制是当务之急。同时，若何让 SpeechLM 更好地办事于资本稀缺的言语和方言，也是鞭策手艺普惠的主要标的目的。

　　指令微调阶段让模子学会遵照各类指令施行分歧使命。研究者们通过建立大规模的指令跟从数据集，让 SpeechLM 具备了处置多样化语音使命的能力。

　　人工评估则次要通过平均看法分数（MOS）等客不雅目标，从人类的角度评估语音的天然度、韵律质量和音色类似度等特征。

　　本文第一做者：崔文谦，中文大学博士生，努力于语音大模子，多模态大模子，AI音乐生成等标的目的的研究。

　　虽然 SpeechLM 取得了显著进展，但仍面对诸多挑和。组件选择的最优化、端到端锻炼、及时语音生成。

　　语音分词器（Speech Tokenizer）担任将持续的音频信号转换为离散或持续的 token 暗示。按照建模方针的分歧，能够分为语义理解型、声学生成型和夹杂型三类。语义理解型专注于提取语音的语义内容，声学生成型则沉点保留音频的声学特征，而夹杂型试图兼顾两者的劣势。

　　让我们一路等候这个冲动的将来，正在那里，AI 不只能听懂我们说什么，更能理解我们怎样说，并以同样天然的体例取我们对话。这不只是手艺的冲破，更是人类取 AI 关系的底子性变化。

　　若何科学评估 SpeechLM 的机能是一个主要课题。我们的论文系统梳理了当前的评估方式，包罗从动评估和人工评估两大类。