行业观察媒体报道 · hai.stanford.edu
斯坦福 HAI 总结医疗 AI 基准体系,两项任务型基准最佳模型单次完成率均不足一半
OmniTools 10月20日消息,斯坦福 HAI 团队总结了历时三年构建的医疗 AI 基准体系,包括 MedHELM、PhysicianBench 与 HealthAdminBench,用来衡量医疗 AI Agent 实际能完成哪些任务。
MedHELM 覆盖 5 大类共 121 项临床任务。评测显示,临床决策支持与管理流程两类任务得分最低。在 PhysicianBench 上,表现最好的模型 GPT-5.5 单次仅完成 46% 的任务;在 HealthAdminBench 上,Claude Opus 4.6 的完成率为 36.3%。
研究指出,模型失败主要发生在跨文档、跨系统传递信息时丢失上下文。PhysicianBench 与 HealthAdminBench 均以合成数据、公开代码和排行榜的形式开放。