Arena研究：LLM裁判自我偏好显著高于人类，GPT-6 Astra达88%

OmniTools 9月30日消息，据Arena团队披露的最新研究数据，基于1,460场真实Text Arena对战及34,580条裁决记录，对12个大语言模型作为裁判的表现进行了分析。结果显示，LLM裁判倾向于选择自身生成答案的概率平均比人类高出约70%。其中，GPT-6 Astra在88%的对战中选择了自己输出的答案。

研究还指出，OpenAI的三款裁判模型对同系模型的评分宽容度比人类高出37分；AI裁判之间的一致率为79.4%，但与人类投票者的一致率仅为56.9%。此外，模型普遍回避平局判定，Sol模型在96%的对战中强制选出单一胜者。