OmniTools 9月30日消息,OpenRouter 官方博客近日发布技术教程,详细介绍如何基于真实生产流量构建 Golden 评测集,用于大模型部署前的回归测试。
教程提出五步实施流程:抽样生产流量、去重聚类、添加预期输出、首轮评估并修正评估标准(Rubric)、提交至 Git 并接入 CI 系统。建议初始样本量从 20 至 50 条起步,后续逐步扩展至 100 至 1,000 条完整回归集。
该教程强调使用真实用户流量而非合成数据构建评测集,以保留实际请求分布及典型失败模式,从而更有效地验证模型迭代效果。