返回行业动态

开源工具 Wayfinder Router 发布:实现本地与托管 LLM 的确定性查询路由

2026/06/28 17:22
查看原文

OmniTools 6月29日消息,开源项目 Wayfinder Router 近日发布,旨在实现本地与托管大语言模型之间的确定性查询路由。该工具通过分析提示词的结构特征(如长度、标题、列表、代码)进行微秒级路由决策,全程离线运行,无需调用额外模型。

默认仅启用结构分析,词汇线索(如“证明”“数学”“硬约束”等)因盲测中泛化能力不足而默认关闭。相比依赖模型调用的路由方案(如 RouteLLM、NotDiamond),Wayfinder Router 可有效规避延迟、成本及输出随机性问题。

项目支持所有 OpenAI 兼容 API,包括 Ollama、Anthropic、Groq 和 vLLM 等,支持自托管;提供终端与网页演示(--dry-run 模式无需 API 密钥),并附带基准测试数据与 FAQ 文档。项目源码已开源至 GitHub。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部