Skip to content

问几个大模型平台的问题 #1233

Description

@JonSmall
  1. 如果算力节点有几百个,做模型预热时,目前是否有成熟度高的快速预热分发技术方案实现,不至于都请求存储节点打挂机器
  2. 在模型预热过程中,可能存在多个模型预热到同一个节点情况,但最终只能启动一个实例,因为卡已经被占用了,在云原生层面是否有更好的调度和预热模式,先锁定机器节点去预热
  3. 在大模型推理中,HPA自动扩缩容存在性能瓶颈,例如大权重模型,即使预热后,vllm启动也要半小时,是否有更好的方案扩容

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions