Qwen3omni audio encoder 是否可以打开训练？

[King-king424]

Checklist / 检查清单

• I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。

Question Description / 问题描述

目前的训练脚本只看到解冻ViT和aligner，没有专门的参数去解冻audio encoder；

[Jintao-Huang]

ViT 包含audio了。

• 🔥freeze_vit: 该参数只对多模态模型生效，可用于全参数训练和LoRA训练，但会产生不同的效果。若是全参数训练，将freeze_vit设置为True会将vit部分权重进行冻结；若是LoRA训练且target_modules设置为'all-linear'，将freeze_vit设置为True将会取消在vit部分添加LoRA模块。该参数默认为True。
  • 注意：这里的vit不仅限于vision_tower, 也包括audio_tower。若是Omni模型，若你只希望对vision_tower加LoRA，而不希望对audio_tower加LoRA，你可以修改这里的代码。