Skip to content

开源代码是不是没有实现动态采样权重更新?另外为什么把采样后不同数据集拼接成4096长度的训练数据进行sft? #40

@xxll88

Description

@xxll88

1、update_dynamic_weight没有看到生成新的权重列表的代码,实际也没有调用 update_dynamic_weight,
当前代码只是根据初始权值和epoch进行随机采样;
2、另外把采样后不同数据集拼接成4096长度的训练数据,为什么把不同数据集随机采用后放在1条数据里进行sft?这些数据也没有前后连续性,论文里也没说明这么做的原因;
请专家解释

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions