返回行业动态

开源项目OpenSquilla发布:智能路由结合本地检索,LLM Token消耗降低超90%

2026/05/14 03:02
查看原文

OmniTools 5月14日消息,开源项目OpenSquilla正式发布,旨在解决大语言模型应用中Token消耗过高的问题。该项目融合智能模型路由与本地向量检索技术,可自动识别任务复杂度,将简单查询路由至低成本模型,复杂任务交由高性能模型处理,且路由决策均在本地完成,不占用API Token。

OpenSquilla通过增量发送与缓存命中机制,使实际传输Token减少90%以上;其记忆系统支持上下文满载时自动筛选与压缩关键信息,并兼容混合检索。此外,项目集成成本统计、安全沙箱、OpenClaw一键迁移及定时任务等功能,显著提升LLM应用的经济性与运行效率。