问题/痛点描述
AISBench 当前已支持对模型服务进行性能评测（Benchmark）和精度评测（Evaluation），可用于测试基于 OpenAI API 的推理服务，并支持 GSM8K、GPQA、AIME 等公开数据集。
随着 LoRA（Low-Rank Adaptation）成为大模型参数高效微调的主流方案，越来越多的推理框架（如 vLLM）采用 单 Base Model + 多 LoRA Adapter 的服务化部署方式。多个业务或租户共享同一个 Base Model，请求通过 OpenAI API 的 model 字段选择对应的 LoRA Adapter，实现不同领域能力的在线推理。
在这种部署模式下，LoRA 已经成为请求级配置，而不是模型部署配置。同一个服务实例中，不同请求可能对应不同的 LoRA Adapter，这也是目前 Multi-LoRA 在线服务的典型访问模式。
然而，AISBench 当前默认整个评测任务使用同一个 model，无法模拟不同请求访问不同 LoRA Adapter，因此存在以下不足：
- 性能评测：无法模拟 Multi-LoRA 服务中的混合流量，不能评估不同 LoRA 并发访问下的吞吐、时延等性能指标。
- 精度评测：无法针对多个 LoRA Adapter 分别执行公开数据集评测，例如分别评测 Finance-LoRA、Medical-LoRA 等 Adapter 在各自任务上的精度表现。
因此，建议 AISBench 增加对 Multi-LoRA 服务 的支持，使其既能够完成 Multi-LoRA 服务性能测试，也能够完成 不同 LoRA Adapter 的精度评测，进一步完善 AISBench 对现代大模型服务部署方式的评测能力。
建议方案
建议 AISBench 增加 Multi-LoRA 服务评测能力，支持请求级指定目标模型（LoRA Adapter），同时兼容现有单模型评测流程。
1. 支持 Multi-LoRA 性能评测
性能测试建议支持 GSM8K 格式 Dataset（AISBench 当前 Benchmark 已支持的数据格式）增加 model 字段，例如：
{
"model": "finance-lora",
"question": "...",
"answer": "..."
}Benchmark 发送请求时自动读取对应 model。
支持：
- 同一 Dataset 中混合多个 LoRA；
- 不同请求访问不同 Adapter；
- 模拟真实线上 Multi-LoRA 混合流量。
例如：
| Request |
model |
| Req1 |
finance-lora |
| Req2 |
medical-lora |
| Req3 |
finance-lora |
| Req4 |
code-lora |
| Req5 |
legal-lora |
无需拆分多个 Dataset，即可完成 Multi-LoRA 服务压测。
2. 支持 Multi-LoRA 精度评测
AISBench 当前支持 GPQA、GSM8K、AIME 等公开数据集。
建议精度评测支持为不同评测任务指定目标 model，例如：
| Dataset |
Model |
| GSM8K |
math-lora |
| GPQA |
science-lora |
| AIME25 |
math-lora |
或者支持在同一 Dataset 中，不同样本指定不同 model。
这样可以针对已经部署好的多个 LoRA Adapter，分别完成对应任务的数据集评测，无需为每个 Adapter 单独启动一套服务。
评测结果仍保持 AISBench 当前输出形式，仅增加对应 Adapter（Model）的统计信息即可。
3. 保持现有使用方式兼容
若 Dataset 中未指定 model 字段，则保持当前行为，统一使用 Benchmark 配置中的默认 model，保证已有脚本和评测流程无需修改。
备选方案
No response
预期价值
场景一：Multi-LoRA 服务性能压测
企业通常部署一个 Base Model，并加载多个行业 LoRA：
Base Model
├── Finance-LoRA
├── Medical-LoRA
├── Legal-LoRA
└── Code-LoRA
线上请求根据业务访问不同 Adapter。
AISBench 可通过同一 Dataset 混合多个 model 请求，模拟真实线上流量，评测：
- Overall Throughput（TPS）
- TTFT
- TPOT
- End-to-End Latency
- 不同并发下的服务稳定性
相比单 LoRA 压测，更贴近生产环境。
场景二：LoRA 精度评测
不同 LoRA 通常针对不同领域训练。
例如：
| Adapter |
Evaluation Dataset |
| Math-LoRA |
GSM8K、AIME25 |
| Science-LoRA |
GPQA |
| Finance-LoRA |
企业内部数据集 |
AISBench 支持指定目标 model 后，可直接复用现有精度评测流程，对不同 LoRA Adapter 分别执行评测，无需部署多套模型服务。
场景三：统一评测 Multi-LoRA 服务
对于已经部署完成的 Multi-LoRA 服务，希望同时验证：
- 不同 Adapter 的推理性能；
- 不同 Adapter 的任务精度；
- 多 Adapter 混合请求下的服务稳定性。
AISBench 支持请求级指定 model 后，可在同一套工具中完成性能 Benchmark 与 Accuracy Evaluation，覆盖 Multi-LoRA 服务上线前的主要验证需求，而无需针对每个 LoRA 单独部署、单独评测。
参与意向
问题/痛点描述
AISBench 当前已支持对模型服务进行性能评测（Benchmark）和精度评测（Evaluation），可用于测试基于 OpenAI API 的推理服务，并支持 GSM8K、GPQA、AIME 等公开数据集。
随着 LoRA（Low-Rank Adaptation）成为大模型参数高效微调的主流方案，越来越多的推理框架（如 vLLM）采用 单 Base Model + 多 LoRA Adapter 的服务化部署方式。多个业务或租户共享同一个 Base Model，请求通过 OpenAI API 的
model字段选择对应的 LoRA Adapter，实现不同领域能力的在线推理。在这种部署模式下，LoRA 已经成为请求级配置，而不是模型部署配置。同一个服务实例中，不同请求可能对应不同的 LoRA Adapter，这也是目前 Multi-LoRA 在线服务的典型访问模式。
然而，AISBench 当前默认整个评测任务使用同一个
model，无法模拟不同请求访问不同 LoRA Adapter，因此存在以下不足：因此，建议 AISBench 增加对 Multi-LoRA 服务 的支持，使其既能够完成 Multi-LoRA 服务性能测试，也能够完成 不同 LoRA Adapter 的精度评测，进一步完善 AISBench 对现代大模型服务部署方式的评测能力。
建议方案
建议 AISBench 增加 Multi-LoRA 服务评测能力，支持请求级指定目标模型（LoRA Adapter），同时兼容现有单模型评测流程。
1. 支持 Multi-LoRA 性能评测
性能测试建议支持 GSM8K 格式 Dataset（AISBench 当前 Benchmark 已支持的数据格式）增加
model字段，例如：{ "model": "finance-lora", "question": "...", "answer": "..." }Benchmark 发送请求时自动读取对应
model。支持：
例如：
无需拆分多个 Dataset，即可完成 Multi-LoRA 服务压测。
2. 支持 Multi-LoRA 精度评测
AISBench 当前支持 GPQA、GSM8K、AIME 等公开数据集。
建议精度评测支持为不同评测任务指定目标
model，例如：或者支持在同一 Dataset 中，不同样本指定不同
model。这样可以针对已经部署好的多个 LoRA Adapter，分别完成对应任务的数据集评测，无需为每个 Adapter 单独启动一套服务。
评测结果仍保持 AISBench 当前输出形式，仅增加对应 Adapter（Model）的统计信息即可。
3. 保持现有使用方式兼容
若 Dataset 中未指定
model字段，则保持当前行为，统一使用 Benchmark 配置中的默认model，保证已有脚本和评测流程无需修改。备选方案
No response
预期价值
场景一：Multi-LoRA 服务性能压测
企业通常部署一个 Base Model，并加载多个行业 LoRA：
线上请求根据业务访问不同 Adapter。
AISBench 可通过同一 Dataset 混合多个
model请求，模拟真实线上流量，评测：相比单 LoRA 压测，更贴近生产环境。
场景二：LoRA 精度评测
不同 LoRA 通常针对不同领域训练。
例如：
AISBench 支持指定目标
model后，可直接复用现有精度评测流程，对不同 LoRA Adapter 分别执行评测，无需部署多套模型服务。场景三：统一评测 Multi-LoRA 服务
对于已经部署完成的 Multi-LoRA 服务，希望同时验证：
AISBench 支持请求级指定
model后，可在同一套工具中完成性能 Benchmark 与 Accuracy Evaluation，覆盖 Multi-LoRA 服务上线前的主要验证需求，而无需针对每个 LoRA 单独部署、单独评测。参与意向