1、update_dynamic_weight没有看到生成新的权重列表的代码,实际也没有调用 update_dynamic_weight, 当前代码只是根据初始权值和epoch进行随机采样; 2、另外把采样后不同数据集拼接成4096长度的训练数据,为什么把不同数据集随机采用后放在1条数据里进行sft?这些数据也没有前后连续性,论文里也没说明这么做的原因; 请专家解释
1、update_dynamic_weight没有看到生成新的权重列表的代码,实际也没有调用 update_dynamic_weight,
当前代码只是根据初始权值和epoch进行随机采样;
2、另外把采样后不同数据集拼接成4096长度的训练数据,为什么把不同数据集随机采用后放在1条数据里进行sft?这些数据也没有前后连续性,论文里也没说明这么做的原因;
请专家解释