Skip to content

请问 QLora 微调 chatglm3 之后, 如何使用 vllm 进行推理加速, 我无法使用 vllm 加载 QLora 微调后的模型 #1355

Open
Open
请问 QLora 微调 chatglm3 之后, 如何使用 vllm 进行推理加速, 我无法使用 vllm 加载 QLora 微调后的模型#1355
@ZY-LUCK

Description

@ZY-LUCK
ZY-LUCK
opened on Mar 19, 2025
No description provided.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions