Hugging Face政策负责人：嵌入式AI评估器并非易解方案

OmniTools 10月20日消息，Hugging Face首席政策官Irene Solaiman上周在TechCrunch Disrupt活动上表示，AI实验室将声誉押注在模型基准测试上，但评估方法本身复杂且仍在成熟之中，嵌入式AI评估器不会是简单易行的解决方案。她认为，讨论能否信任评估结果时，关键在于结果能否被复现，以及能否获得所需的模型访问权限，开源权重在此尤为重要。

Solaiman指出，评估是一门不断演进的科学，业界目前还不知道如何有意义地相互比较不同评估；这些评估会较快失效，生态也不够繁荣。她表示，市场对嵌入式评估者生态有强烈需求，但判定谁能胜任哪些任务的有效评估者，其资质标准还需要更多标准化。

她还提到，评估正从单纯测试模型本身，转向测试模型周边的整个系统，包括harness（用户访问模型所用的工具）和agent。一个较弱的模型配合更好的harness，可能轻松超过前沿模型。Solaiman表示，代理评估难度大、成本高，目前模型评估较多，但针对harness的评估较少，业界正在为整体agent开发更好的评估方法。