21CTO 导读：微软人工智能研发团队刚刚发布了在语音识别上的技术突破。

10月1日，微软发布了“MAI-Transcribe-2-Streaming”，此项技术能够从对话进行到一半时立即返回转录结果；同时还发布了语音合成模型“MAI-Voice-2.1”和“MAI-Voice-2.1-Flash”。

目前，这两项技术均已在微软Foundry平台提供公开预览，但尚未达到可以保证用于生产环境的成熟阶段。

该模型在9月份发布的录音转录模型基础上，增加了实时语音识别和语音合成功能。处理过程可以在用户说完话之前就开始，但中途返回的转录文本可以稍后进行修改。

新模型使语音代理更接近实际应用的程度，取决于它在多大程度上利用了语音过程中获得的临时识别结果。

在语音识别过程中获得的识别结果应理解为之后可能会被修改。

MAI-Transcribe-2-Streaming 支持 60 种语言，并能持续自动地检测正在说的语言。

微软表示，该系统在接收到音频后仅100毫秒即可返回初步转录结果。与一次性识别整个录音的方法不同，这种方法允许系统在用户说话的同时显示字幕并搜索相关信息。

然而，过程中返回的字符串未必会成为最终结果的开头。添加音频时，先前识别的内容可能会被覆盖。

微软的实时 API 文档称清楚地区分了这两者。

delta通过收到的角色信息将作为已确认部分添加到末尾。另一方面，intermediate通过MAI特有的收到内容将替换届时所有未确认的部分。

因此，简单地将所有收到的结果按顺序相加，会导致原始文本和更正后的文本重复出现。

此处，“已确认”仅表示记录已最终定稿，并不一定意味着用户的意图已最终确定。

比如，在关于预订房间的对话中，

“下周五，或者更确切地说，是周四。”

假设他又这样改写了一下。

可以使用初始识别结果“星期五”开始搜索空房情况。但是，如果此时预订已确认，之后再将其更正为“星期四”，则会被视为错误。

这不是产品功能测试，而是使用流式识别的处理设计示例。通过将可以稍后取消的流程（例如搜索和检索建议）与实际改变状态的流程（例如确认预订或退款）分开，可以在利用语音识别结果的同时减少错误。

该应用程序还能确定语音中的停顿点，还需要实现一个流程来确定话语之间的界限。

实时 API 不支持自动检测语音结束或从服务器端自动发送确认请求。应用程序commit需要自行判断自然停顿或录音结束时间，并发送必要的通知。

结合语音活动检测，区分呼吸的短暂停顿和语音的实际结束对于反应速度也是至关重要。

如果系统过早地判断句子结束，就会在用户说话时就开始处理数据。另一方面，如果等待时间过长，则无法充分利用流式识别的低延迟优势。

每次会话时长限制为一小时。

此 API 以类似于 OpenAI Realtime API 的格式发送和接收音频，但intermediate它不具备 MAI 特有的功能或发送确认请求的条件。

作者：场长

参考：

https://ai.azure.com/catalog/models/MAI-Transcribe-2-Streaming?publisher=microsoft