返回行业动态

Hugging Face 为 Open ASR 排行榜引入私有数据集,防范模型“刷榜”过拟合

2026/05/06 09:23
查看原文

OmniTools 5月6日消息,Hugging Face 宣布在 Open ASR Leaderboard 中新增由 Appen 和 DataoceanAI 提供的高质量英语语音识别(ASR)私有评测数据集。该批数据涵盖美式、英式、澳式、加式及印度等多口音的脚本朗读与自然对话语音,总时长超30小时。

为防止测试集污染与“benchmaxxing”(针对评测指标的过拟合优化),这些私有数据默认不参与排行榜加权词错误率(WER)计算。用户可通过界面开关选择是否启用,系统将同步显示排名变化(Rank Δ)。目前平均 WER 仍仅基于公开数据集计算。

此举旨在提升基准测试的可信度与现实场景鲁棒性,同时支持按语音风格(脚本/对话)与地域口音进行细分评估。Open ASR Leaderboard 自2023年9月上线以来,累计访问量已突破71万次。