Checklist / 检查清单
Bug Description / Bug 描述
seq_acc始终为0
How to Reproduce / 如何复现
swift sft
--model "Qwen3.5-9B"
--dataset "base_stage2/data.jsonl"
--loss_scale ignore_empty_think
--add_non_thinking_prefix true
--split_dataset_ratio 0
--packing true
--tuner_type full
--num_train_epochs 200
--save_steps 100
--per_device_train_batch_size 4
--learning_rate 5e-7
--freeze_vit false
--freeze_aligner false
--gradient_accumulation_steps $(expr 256 / ( $NNODES * $NPROC_PER_NODE ))
--save_strategy steps
--save_total_limit 2
--logging_steps 1
--lr_scheduler_type cosine
--max_length 5120
--output_dir "${OUTPUT_DIR}"
--report_to tensorboard
--warmup_ratio 0.1
--dataloader_num_workers 8
--dataset_num_proc 2
--use_liger_kernel true
--deepspeed zero2
--torch_dtype bfloat16
--attn_impl flash_attn \
Additional Information / 补充信息
No response
Checklist / 检查清单
Bug Description / Bug 描述
seq_acc始终为0
How to Reproduce / 如何复现
swift sft
--model "Qwen3.5-9B"
--dataset "base_stage2/data.jsonl"
--loss_scale ignore_empty_think
--add_non_thinking_prefix true
--split_dataset_ratio 0
--packing true
--tuner_type full
--num_train_epochs 200
--save_steps 100
--per_device_train_batch_size 4
--learning_rate 5e-7
--freeze_vit false
--freeze_aligner false
--gradient_accumulation_steps $(expr 256 / ( $NNODES * $NPROC_PER_NODE ))
--save_strategy steps
--save_total_limit 2
--logging_steps 1
--lr_scheduler_type cosine
--max_length 5120
--output_dir "${OUTPUT_DIR}"
--report_to tensorboard
--warmup_ratio 0.1
--dataloader_num_workers 8
--dataset_num_proc 2
--use_liger_kernel true
--deepspeed zero2
--torch_dtype bfloat16
--attn_impl flash_attn \
Additional Information / 补充信息
No response