Infer Issue

[After-lifes]

Checklist / 检查清单

• I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。

Question Description / 问题描述

ms-swift==4.0.4 transformers==4.57.6
微调Qwen2.5-VL-7B-Instruct后，使用以下命令进行推理，val_dataset为2000条数据，推理时在0-1000正常，但到1000-2000时，推理速度会很慢。
CUDA_VISIBLE_DEVICES=0,1
NPROC_PER_NODE=2
MAX_PIXELS=501760
swift infer
--adapters "./xxxx"
--val_dataset './xxxx.jsonl'
--result_path './xxxx.jsonl'
--max_new_tokens 8192
--infer_backend transformers
--max_batch_size 8

[After-lifes]

help me！！！too slow！！！

[Jintao-Huang]

你看看是不是输出的token太多，就会速度慢

或者你试试 infer_backend vllm

[Jintao-Huang]

0-1000，1000-2000 走的是一样的代码的

[After-lifes]

0-1000，1000-2000 走的是一样的代码的
是

[After-lifes]

你看看是不是输出的token太多，就会速度慢

或者你试试 infer_backend vllm

出于训练的兼容性，不会使用vllm。此外，如果数据难度分布不均（比如0-1000的简单，1000-2000的较难），会导致出现这种情况吗？shuffle一下数据分布会改善吗？

[Jintao-Huang]

难度分布不均 会的。后面的输出的长

shuffle 不影响总时间的