1600epochs 8个a100的预训练是否包含了rvsa的改动？

[biggg2]

想问一下作者nc中的MHSA替换为RVSA是在预训练前完成的改动吗，还是下游任务训练时的改动？
如果我想对ViTAE骨干网络部分中的某些模块进行改动，是否需要重新预训练1600epoch？还是直接进行下游任务的训练就行？
盼回复！！感谢作者！！

[biggg2]

详细补充：对骨干网络部分（主要是RC中的PRM模块）进行改动需要重新在MillionAID上预训练吗，如果需要的话，作者方便告知一下预训练1600epochs 8个a100的GPU 2048的batch size大概用了多少天吗？按照我的理解论文中改进的rvsa模块仅在下游任务中参与训练并不需要从头训练对吗T A T，盼回复~

[DotWang]

@biggg2 不是，是预训练后；readme提供的ViT/ViTAE预训练权重不包含RVSA，模型结构代码完成了RVSA的替换，即就是微调时候模型的结构，预训练完成后，将ViT的权重加载到包含RVSA结构的网络中，在不同任务上进行微调

[DotWang]

@biggg2 我readme写了啊，8卡1600epoch训5天，改动网络结构需不需要预训练取决于预训练的模型权重你在改完那个模块后还能加载上去用吗？

[DotWang]

@biggg2 但是不对啊，这篇论文中的ViTAE不包括PRM，plain vision transformer不需要不断降采样特征，你改PRM是为了？？？

[biggg2]

我想要PRM模块提取多尺度信息的部分，如果在现有ViTAE网络中重新加入这个模块的话不知道需不需要重新预训练了

[DotWang]

@biggg2 需要的，或者你去试着把imagenet预训练后的PRM权重加载上去

[biggg2]

@biggg2 需要的，或者你去试着把imagenet预训练后的PRM权重加载上去

好的！非常感谢！我尝试一下