返回行业动态

OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 意图分类任务中的性能差异

2026/09/22 17:52
查看原文

OmniTools 9月23日消息,OpenRouter 使用 Banking77 测试集的 3080 条客服语料,对比评估了 Jev 1.13 与 Claude Opus 5 在意图分类任务上的准确率、延迟与成本。

结果显示,Claude Opus 5 准确率为 84.4%,Jev 1.13 为 81.0%,相差 3.3 个百分点;但在响应速度上,Jev 中位延迟仅 175 毫秒,约为 Opus(2266 毫秒)的 1/13;成本方面,Jev 每千次请求 $0.11,Opus 为 $2.42(均启用提示词缓存)。

该测试聚焦于轻量级模型与旗舰闭源模型在实际业务场景中的权衡取舍,未涉及其他任务或数据集。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部