Checklist / 检查清单
Bug Description / Bug 描述
在tie_word_embeddings=False的情况下,应该存储lm_head.weight。DeepSpeed训练是正确的,可以看到model.safetensors.index.json里面是有的,但是用megatron训练是没有的。
How to Reproduce / 如何复现
如上,训练llava onevision 1.5模型
Additional Information / 补充信息
No response
Checklist / 检查清单
Bug Description / Bug 描述
在tie_word_embeddings=False的情况下,应该存储lm_head.weight。DeepSpeed训练是正确的,可以看到model.safetensors.index.json里面是有的,但是用megatron训练是没有的。
How to Reproduce / 如何复现
如上,训练llava onevision 1.5模型
Additional Information / 补充信息
No response