如何1个worker能占用两张显卡

[pQuuing]

我有两张显卡，都是24G左右，实际使用会oom，现在希望worker能够同时利用两张显卡该怎么办？

[pQuuing]

另外我在使用时，希望全双工语音，能够我一边说他一边翻译，实际使用情况等我说完停顿后才开始翻译，这块该如何处理，感谢

[bokesyo]

感谢您的使用和反馈！

第一个问题，

我有两张显卡，都是24G左右，实际使用会oom，现在希望worker能够同时利用两张显卡该怎么办？

确实，目前的优化不够好，模型加载完成后占用21G显存，但需要28G的显存才能不在运行时OOM。是可以使用两张显卡部署的，但本仓库并没有集成，我们之前的模型（纯视觉模型）有一个文档，可以参考一下 https://github.com/OpenBMB/MiniCPM-o/blob/main/docs/inference_on_multiple_gpus.md

第二个问题

另外我在使用时，希望全双工语音，能够我一边说他一边翻译，实际使用情况等我说完停顿后才开始翻译，这块该如何处理，感谢

这一版模型目前还没有训过同声传译，可以期待下一版模型。如果确有需求，您可以通过few shot prompting的方式实现，也就是准备几条已有的同声传译数据（源语言音频-目标语言文本，带时间戳，分配到每一秒中）按照模型的schema prefill到模型中，我们打算一周内把这个接口集成进本仓库，您可以再等一下，实现好会在这里反馈。