上下文会不断累加，最终超过模型的context length然后报错

[zhangxuejian-a]

显卡是24G 的A5000
启动命令：
ENABLE_SUMMARIZER=false
CHUNK=6 T_s=6
MAX_MODEL_LEN=12000
ADAPTER_HOST="0.0.0.0" WEBINFER_ARGS="--gpu-memory-utilization 0.9
--quantization fp8
--limit-mm-per-prompt '{"image":8,"video":1}'" bash services/webinfer/scripts/run.sh all

在运行400多轮后报错
(APIServer pid=314978) ValueError: Input length (12272) exceeds model's maximum context length (12000).
2026-07-02 06:31:30,816 INFO httpx: HTTP Request: POST http://127.0.0.1:7060/v1/chat/completions "HTTP/1.1 400 Bad Request"
2026-07-02 06:31:30,817 ERROR streaming_infer_adapter: chat completion failed
Traceback (most recent call last):

由于显存比较小，最大只能设置MAX_MODEL_LEN=12000
但是上下文会不断累加最终超过12000
请问下这种问题怎么解决。
我有个疑问，假设是80G的显存，那上下文不断累加的话是不是最终也会报错？

[zhangxuejian-a]

运行run.sh all之后Summarizer并没有启动，只有主模型和ADAPTER启动了，是因为显存太小了吗？
然后我手动启动Summarizer
CUDA_VISIBLE_DEVICES=0 python -m vllm.entrypoints.openai.api_server --model /home/models/Qwen3-VL-4B-Instruct --served-model-name Qwen3-VL-4B-Summarizer --port 8065 --gpu-memory-utilization 0.5 --quantization fp8 --max-model-len 5000 --tensor-parallel-size 1 --disable-log-stats
最终还是会报显存不足

我想请问下，上下文不断累加超出，是因为我Summarizer没有启动的原因吗？Summarizer会把历史上下文总结成摘要然后缩短上下文吗吗？
怎么样才能将run.sh完全启动，只能增加或更换显卡吗？

[romantic2016cool]

rtx4060 ，MAX_MODEL_LEN设置的是8192，超出的就把它最久的那个截掉可以解决

[zhangxuejian-a]

请问是修改live_adapter.py吗？你运行的时候也没启动摘要模型吗？

[wilhelm-tiger]

I believe #25 helps