训练中的显存问题

[LILIXIYA]

您好，我在尝试复现模型的的训练过程。我在A6000和H100上都试验过，发现在过了几个更新后就会突然显存溢出。请问这个代码在训练的过程中，请问你们在开发的过程中是否遇到了相似的问题？谢谢！

[jymChen]

@LILIXIYA 您好，A6000和H100是可以训练的，不过可能需要多张卡，最好用两卡或4卡以上的机器上进行训练。如果显存还是不够，可以尝试用lora或者采用Zero3的并行策略减少显存使用，还可以减小batch_size。