OmniTools
返回目录
Inferock Bench

Inferock Bench

本地 LLM 成本追踪代理，为 OpenAI、Anthropic、Gemini 和 OpenRouter 调用生成逐次账单凭据与失败审计。

访问官网

编辑点评

"Inferock Bench 为 LLM API 调用提供本地审计与逐次账单凭据，帮助开发者看清 AI 账单细节，识别隐性计费与失败调用成本，适合重视成本透明度的技术团队。"

优势

  • • 本地运行，API 密钥不离开用户设备，隐私安全性高
  • • 提供逐次调用凭据与失败计费检测，账单透明度高
  • • 开源项目，检测标准与算法公开可验证

局限

  • • 仅能审计经过本地代理的流量，无法覆盖绕过代理的调用
  • • 目前主要支持四大模型提供商，其他模型需自行扩展
  • • 需要一定的命令行与本地环境配置能力，对非技术用户门槛较高

Q&A

快速了解这个工具的常见问题与答案

Q
这个工具是否提供免费版？
Answer

是的，Inferock Bench 是开源项目（MIT 许可），可通过 npm 免费安装并在本地运行，核心审计与凭据生成功能完全免费。同时，Inferock 也提供商业托管服务。

Q
这个工具支持哪些访问方式？
Answer

支持命令行（CLI）启动本地代理，并通过浏览器访问本地 Web 仪表盘（如 http://127.0.0.1:4318）进行配置与查看；同时也提供本地 HTTP API 接口用于程序化获取事件与凭据数据。

Q
这个工具是否支持 API？
Answer

是的，Inferock Bench 暴露本地 HTTP API（如仪表盘端点与事件接口），支持程序化访问和集成，但不提供公共云 API 服务。

Q
这个工具是否支持中文或多语言？
Answer

当前界面与文档均为英文，未提及中文或多语言支持。

Q
使用这个工具需要技术背景吗？
Answer

需要一定的技术背景。用户需安装 Node.js 22+，通过命令行启动代理并配置 API 密钥，适合开发者或具备基础运维能力的技术人员使用。

工具介绍

产品简介

Inferock Bench 是一款本地诊断代理工具，用于审计 LLM API 流量并生成逐次调用凭据。它通过本地代理拦截开发者对 OpenAI、Anthropic、Gemini 和 OpenRouter 等主流模型的 API 请求，记录实际消耗的 Token、状态码、延迟与重试证据，并依据公开的 Inferock Standard 生成账单完整性凭据。该工具旨在帮助开发者和企业识别“为失败调用付费”“隐性计费”或“缓存折扣风险”等问题，让 AI 账单透明可审计。

核心功能

  • 本地运行，API 密钥不离开用户设备，隐私安全性高
  • 提供逐次调用凭据与失败计费检测，账单透明度高
  • 开源项目，检测标准与算法公开可验证
  • 覆盖开发与编程相关需求
  • 覆盖搜索、知识库与研究相关需求

适用场景

  • 编码辅助
  • 知识管理

适合谁用

  • 开发者
  • 技术团队
  • 需要集成 AI 能力的产品团队

选择参考

  • 适合场景：coding-builder / 测试修复。
  • 外部参考：公开工具目录中的收录还比较少；GitHub 项目 security/advanced-security；可找到 2 个相关视频或教程。
  • 使用建议：更适合直接进入同类工具对比，重点看输出质量、价格和团队协作细节。

核心能力

主能力
开发与编程
次要能力
搜索、知识库与研究

适用场景

知识管理
编码辅助
价格与版本
Freemium
访问方式
Web AppAPI
支持语言
English