xinference v2.7.0+vllm0.18.1 工具串行调用中断问题

[yy-wanglei]

System Info / 系統信息

python 3.10

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xinference2.7.0+vllm0.18.1 部署 Qwen3.6-35B-A3B-FP8

The command used to start Xinference / 用以启动 xinference 的命令

xinference webui 启动 Qwen3.6-35B-A3B-FP8 虚拟环境为False

Reproduction / 复现过程

调用工具能正常调用，但是我们根据大纲生成ppt的场景，稍稍有些特殊，运行时存在一个问题：
根据大纲生成ppt场景，有四个mcp工具，先think（指定执行initialize_design），再initialize_design（指定执行insert_page），再循环调用insert_page（指定insert_page或finalize）生成ppt页，然后调用finalize整体结束。
同样的代码流程，使用vllm部署qwen3.5执行正常。使用xinference部署qwen3.5，有问题，只能生成一页ppt，然后就调finalize工具，结束ppt生成。
下图是我调查分析的结果：

请问，针对这种情况xinference有什么特殊的处理吗？

Expected behavior / 期待表现

运行效果和vllm保持一致

[llyycchhee]

使用2.8.0试试，应该是tool parser解析xml异常导致的 应该修复了

[bytetask]

还是有问题，好像是工具Tool的结果递归调用工具Tool时，没有正确包裹工具结果参数，导致把上一次结果当成普通markdown文本了，模型不能识别是工具调用，然后递归调用就中断了，在vllm0.18.1里工具结果递归执行是正常的

[llyycchhee]

方便提供下调用样例吗？我这边测试下

[la1ty]

还是有问题，好像是工具Tool的结果递归调用工具Tool时，没有正确包裹工具结果参数，导致把上一次结果当成普通markdown文本了，模型不能识别是工具调用，然后递归调用就中断了，在vllm0.18.1里工具结果递归执行是正常的

我也遇到了同样的问题，而且构建message的时候报了错，因为应用传的 tool_calls 信息没有 content 字段。

示例代码：

......
user_msg = "Hi"

result = client.chat.completions.create(
    messages=[
        {"role": "user", "content": user_msg},
        {"role": "assistant", "tool_calls":[
            {
                "id":"call_bed4c5f1-5f3a-485b-bc77-2b3324391c3f",
                "function":{
                    "arguments":"{\"file_path\": \"README*\", \"show_line_numbers\": false}",
                    "name":"view_file_in_detail"
                },
                "type":"function"
            }
        ]},
        {"role":"tool", "content": "Tool execute results: file not found: README*","tool_call_id":"call_bed4c5f1-5f3a-485b-bc77-2b3324391c3f"}
    ],
    model=LLM_MODEL,
)

print(result.model_dump_json())

@bytetask 可以参考 #4914 修改一下 _transform_messages 函数的代码。

[la1ty]

@llyycchhee v2.8.0 的工具解析逻辑有问题，如果模型先思考后进行工具调用，控制台会报错（虽然不影响最终输出结果）。

示例代码（来自 vLLM）：

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the current weather in a given location",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {"type": "string", "description": "City and state, e.g., 'San Francisco, CA'"},
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                },
                "required": ["location", "unit"],
            }
        },
    }
]

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[{"role": "user", "content": "What's the weather like in San Francisco?"}],
    tools=tools,
    tool_choice="auto",
)

报错信息：

2026-05-18 12:56:50,986 xinference.model.llm.tool_parsers.qwen_tool_parser 955070 WARNING  Function name not found in tool call for xml format: 用户想知道旧金山的天气情况。我需要使用 get_weather 工
具来获取信息。用户没有指定温度单位，所以我应该默认使用华氏度（fahrenheit），因为这是美国常用的单位
。我需要构造一个函数调用，地点是San Francisco，单位是fahrenheit。
</think>


2026-05-18 12:56:50,987 xinference.model.llm.tool_parsers.qwen_tool_parser 955070 ERROR    Can't parse single qwen tool call output: 用户想知道旧金山的天气情况。我需要使用 get_weather 工具来获取信息。用户没有指定温度单位，所以我应该默认使用华氏度（fahrenheit），因为这是美国常用的单位。我需要构造
一个函数调用，地点是San Francisco，单位是fahrenheit。
</think>

. Error: Expecting value: line 1 column 1 (char 0)

另外有时间的话帮忙看一下 #4914 的问题。