是否支持基于偏好对比损失来训练RM

[SYSUzhouting]

目前的RM偏好训练教程（examples/train/pairwise/run_pairwise.sh）中采用的是 GRPO + PPO 结合的训练方法，是否支持更直接快速的训练方法，例如直接基于偏好对比损失来优化？ 如基于​Bradley-Terry loss

[ZhaoyangLiu-Leo]

您好，支持的，我们会在近期也把相应的训练脚本准备好，推送到仓库里面

[helloml0326]

嗨，目前RM训练已经支持Bradley-Terry和SFT范式，请参考tutorial:Bradley-Terry 和 SFT

[Alyroy]

哈喽，这个md文件为什么是空的

[helloml0326]

抱歉，刚才直接粘贴网址看起来有点问题。我重新编辑了下。请参考tutorial:Bradley-Terry 和 SFT

[Alyroy]

我可不可理解为原先框架支持pointwsie训练的方式是走的ppo训练流程，直接利用分数去计算奖励，优化ppo。现在的改动是走的sft的流程，给模型的隐藏层加一个valuehead，根据相应的损失函数来训练？

[helloml0326]

原先框架支持的是基于RL的方式训练reasoning reward model(实现基于verl框架)，现在是支持了另外两种范式:
1.Bradley-Terry 支持训练scalar reward model
2.SFT 主要是区别于上面的RL方式，给定偏好数据样本，用SFT的方式训练reward model

稍后我在README补充下这几种范式的说明

[Alyroy]

好的谢谢，还有我们是否支持通过sft的方式去训练pointwise类型的奖励模型

[XieLipeng0830]

您好，已更新支持。在最新的 sft_rm.md 中，已分别说明通过 SFT 训练 pointwise 和 pairwise类型的奖励模型 ，请注意根据所选范式正确构造相应的数据格式。