行业观察媒体报道 · techcrunch.com
OpenAI 首席科学家 Jakub Pachocki 提出以困惑度衡量 AI 发展速度
OmniTools 11月23日消息,OpenAI 首席科学家 Jakub Pachocki 在一篇博客文章中讨论如何限制 AI 发展速度,提出以困惑度(perplexity)作为衡量模型进展的指标。OpenAI CEO Sam Altman 称这篇文章是 OpenAI 近期发布的最重要内容之一。
文章背景是,放缓 AI 开发已成为热议话题。一名曾任职于 OpenAI 和 Anthropic 的研究人员称相关公司“拿我们的生命赌博”,Anthropic 的 IPO 文件也提到该技术可能对社会造成“灾难性或生存性风险”。Anthropic CEO Dario Amodei 随后发布“pace the frontier”计划,似乎获得 Sam Altman 和 Elon Musk 支持,其中呼吁企业同意“共同安全标准以及对不受约束的 AI 进展速度设限”。
Pachocki 认为,要为 AI 发展设定速度上限,需要先就速度的衡量方式达成一致。他称,困惑度衡量模型平均预测下一个 token 的能力,困惑度越低表示预测越好;聚焦 AI“下游能力”的基准会随技术发展迅速过时,而困惑度仍具信息量。他引用 OpenAI 模型自 GPT-3.5 以来的困惑度下降图表,称 GPT-4 约为 0.91,低于 0.8 后网络安全和数学等领域出现变革性能力。他提出,困惑度可作为“通用智能的共同基准”,供 AI 公司据此设定“共同限制”,承诺在理解和监控 AI 行为达到具体里程碑前不越过某一阈值。