OmniTools 9月23日消息,OpenRouter 使用 Banking77 测试集的 3080 条客服语料,对比评估了 Jev 1.13 与 Claude Opus 5 在意图分类任务上的准确率、延迟与成本。
结果显示,Claude Opus 5 准确率为 84.4%,Jev 1.13 为 81.0%,相差 3.3 个百分点;但在响应速度上,Jev 中位延迟仅 175 毫秒,约为 Opus(2266 毫秒)的 1/13;成本方面,Jev 每千次请求 $0.11,Opus 为 $2.42(均启用提示词缓存)。
该测试聚焦于轻量级模型与旗舰闭源模型在实际业务场景中的权衡取舍,未涉及其他任务或数据集。