reranker = FlagReranker(config["bge"]["reranker"], use_fp16=True) 我起服务的时候指定了两个卡,reranker模型是服务中加载的,默认也分布到两个卡上了,然后就显存爆了,有方法可以指定单卡运行吗?
reranker = FlagReranker(config["bge"]["reranker"], use_fp16=True)
我起服务的时候指定了两个卡,reranker模型是服务中加载的,默认也分布到两个卡上了,然后就显存爆了,有方法可以指定单卡运行吗?