以下现象在所有子集中都存在,以pCLUE_dev.json为例:
- 第9行的target是
辅助工具,但answer_choices中没有该项;
- 第70行的target是
电竞,但answer_choices中没有该项;
- 第150行的target是
医疗服务,但answer_choices中没有该项;
- 第171行的target是
休闲益智,但answer_choices中没有该项;
- ……
我简单统计了一下,在pCLUE_dev.json中,classify数据总共有44414条,其中5394条的target不在answer_choices中,占比约12%。
想问下这个问题官方能否修复一下?还是比较影响评测结果的。
以下现象在所有子集中都存在,以
pCLUE_dev.json为例:辅助工具,但answer_choices中没有该项;电竞,但answer_choices中没有该项;医疗服务,但answer_choices中没有该项;休闲益智,但answer_choices中没有该项;我简单统计了一下,在
pCLUE_dev.json中,classify数据总共有44414条,其中5394条的target不在answer_choices中,占比约12%。想问下这个问题官方能否修复一下?还是比较影响评测结果的。