语音AI正在从“能听会说”进化到“理解与交互”。文本转语音（TTS）的拟真度已逼近真人，语音识别（ASR）准确率超95%，而实时语音Agent（如语音助手、客服机器人）正成为新的交互范式。对于工程师和团队负责人而言，选对语音方案直接影响用户体验和成本。
当前格局中，OpenAI的TTS和Whisper在自然度和准确率上领先，但价格较高；开源模型如XTTS、Coqui和更好的Whisper微调方案提供了可定制且低成本的替代。此外，实时语音Agent（如OpenAI的GPT-4o实时语音API）正在模糊聊天与语音的界限，但延迟和幻觉仍是挑战。
怎么上手、怎么选
上手步骤：首先明确需求——纯语音合成、识别还是端到端语音Agent？对于TTS，推荐从OpenAI TTS API开始快速验证，但若需定制声音或离线部署，可考虑开源方案（如XTTS、Bark）。对于ASR，Whisper是首选，但注意实时场景需选用small模型并优化推理。
选型要点：关注三个指标——延迟（<200ms为佳）、自然度（MOS≥4.0）、成本（每次调用费用）。若用户量级大，自建模型可节省80%成本；若追求效果，商业API更省心。安全层面，务必添加声纹验证或额外鉴权机制以防语音克隆诈骗。
常见坑：一、忽视噪声环境，导致ASR准确率暴跌。需预处理音频（降噪、VAD）。二、TTS输出缺乏情感，需配合SSML标签或参数调整。三、语音Agent的对话管理不当，用户重复提问。建议采用状态机或LLM驱动的多轮对话框架。
常见问题
开源的语音合成和商用哪个好？
如果追求最高自然度且预算充足，选商用（OpenAI TTS）。若需定制声音、低延迟或离线部署，开源（XTTS、Bark）更灵活，但需额外调优。
语音识别国内用哪家？
国内推荐百度或阿里云的API，中文效果优。开源方案用Whisper large-v3，微调后可碾压通用模型。
如何防止语音克隆诈骗？
技术措施：对关键通话加入验证词或声纹匹配；流程上：所有AI通话开始前声明并征求同意。
实时语音Agent的最低延迟要求？
端到端延迟（从说话到回复）应 < 500ms，最好< 200ms。优化点：使用流式TTS、轻量ASR、边缘推理。
多语言语音合成如何选型？
OpenAI TTS支持多语言且效果均衡；开源可选Coqui AI或微软的VALL-E X，但需按语言微调。
训练自有TTS模型需要多少数据？
一般需要至少10小时高质量语音数据（目标说话人）。使用XTTS微调可降低到1-3小时，但质量随数据量提升。