xinference2.7.0使用vllm运行qwen-3.5模型报错

[shuo-oss]

System Info / 系統信息

cuda版本13.0，vllm版本0.17.1

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

v2.7.0

The command used to start Xinference / 用以启动 xinference 的命令

docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 --gpus all xprobe/xinference:v<your_version> xinference-local -H 0.0.0.0 --log-level debug

Reproduction / 复现过程

Expected behavior / 期待表现

成功运行模型

[ron777-777]

我也是同样的问题,估计是cuda版本不对,太新了

[llyycchhee]

这个看起来是因为transformers版本不匹配的问题 设置下transformers==4.57.6试试

[shuo-oss]

这个看起来是因为transformers版本不匹配的问题 设置下transformers==4.57.6试试

我要用vllm拉起

[llyycchhee]

这个看起来是因为transformers版本不匹配的问题 设置下transformers==4.57.6试试

我要用vllm拉起

嗯 qwen3.5使用vllm需要依赖transformers，指定transformers==4.57.6可以使用vllm正常拉起