你好,首先感谢开源这样一个优秀的全双工语音模型与系统方案。
我们之前都是用asr+llm+tts的级联方案,整体来说,时延上还是没有咱们的好。
但在实际生产上使用的话,我目前遇到了两个问题:
- 这是一个端到端的系统,无法嵌入已有的业务workflow(例如:rag召回,mcp订单查询,固定话术反问等等)
- 模型size较小(~9B),对于复杂场景的回复,还是不如大尺寸的模型
我这两天在尝试自己手搓一个快慢系统的方案,即:
- 快系统要求回复迅速,快速承接用户问题,可以只回复一句话、垫词等。这里仍然是使用咱们minicpm原有的方案。
- 慢系统:仍然使用传统的asr+llm+tts的级联方案,保持不变,tts相关音频直接拼接在快系统音频的后面,保证回复的质量
快慢系统用一个统一的调度器进行调度,打断通过minicpm中的listen与speak的轮转来控制
这里是想问问咱们官方有考虑后续出类似的集成方案吗?(许愿
你好,首先感谢开源这样一个优秀的全双工语音模型与系统方案。
我们之前都是用asr+llm+tts的级联方案,整体来说,时延上还是没有咱们的好。
但在实际生产上使用的话,我目前遇到了两个问题:
我这两天在尝试自己手搓一个快慢系统的方案,即:
快慢系统用一个统一的调度器进行调度,打断通过minicpm中的listen与speak的轮转来控制
这里是想问问咱们官方有考虑后续出类似的集成方案吗?(许愿