Experimental Setting

[CurryxIaoHu]

作者您好～我的问题是，SkillEvolBench的测评设置，是需要模型自己先事先跑一遍任务获取轨迹是嘛？感觉似乎给任务fix一组固定的轨迹去测试，这样bench上测评的结果cost & 可复现性会更好？

[yingtie-lei]

您好，是的，我们的设置里模型需要先在 acquisition tasks 上实际交互/尝试，从而获得自己的轨迹、反馈和失败经验，然后再基于这些经验写入或更新 skill library，最后在 deployment tasks 上评测这些 skill 是否能泛化。我们没有直接给所有模型一组固定轨迹，主要是因为 SkillEvolBench 想测的是完整的“experience → procedural skill → reuse”过程。如果固定给一组轨迹，确实会显著降低 cost，也会提高复现性，但它测到的更像是“从给定 demonstrations/trajectories 中抽取技能”的能力，而不是模型自己在任务中探索、犯错、利用反馈并沉淀技能的能力。