Skip to content

bge-reranker-v2-m3模型不能指定部署在几个gpu卡上吗? #907

Description

@wangyanyan66

reranker = FlagReranker(config["bge"]["reranker"], use_fp16=True)
我起服务的时候指定了两个卡,reranker模型是服务中加载的,默认也分布到两个卡上了,然后就显存爆了,有方法可以指定单卡运行吗?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions