BaseRT

BaseRT

面向 Apple Silicon 优化的超快本地大语言模型推理运行时,零 Token 成本,全程离线,数据不出设备。

访问官网

编辑点评

"BaseRT 是一款专注性能与隐私的开源本地推理运行时,特别适合 Apple Silicon 设备上的开发者。它不提供托管服务或图形界面,而是以命令行工具和本地 API 形式交付,强调完全离线、零 Token 成本和模型自主可控。"

优势

  • Apple Silicon 上目前最快的开源 LLM 运行时,Prefill 性能显著领先 llama.cpp 和 MLX
  • 开箱即用的本地 API 服务,无缝对接编码智能体等本地工具链
  • 支持多款主流开源模型,且持续扩展模型兼容性

局限

  • 纯命令行工具,无图形界面,新手上手门槛较高
  • 文档尚处早期阶段,缺乏中文支持与详细入门指南

Q&A

快速了解这个工具的常见问题与答案

Q
这个工具是否提供免费版?
Answer

BaseRT 是开源软件,可免费下载、安装和使用,无订阅、无 Token 计费、无功能限制。所有代码与工具均开放在 GitHub。

Q
这个工具如何收费?
Answer

BaseRT 不收取任何费用 — 它是完全开源的本地运行时,用户自行承担硬件与模型资源成本。

Q
这个工具支持哪些访问方式?
Answer

通过命令行安装后,以本地 API 方式提供服务(如 basert serve),支持其他本地应用、脚本或编码智能体直接调用,无需浏览器或移动客户端。

Q
这个工具是否支持 API?
Answer

支持。BaseRT 默认启动一个本地 HTTP API 服务,兼容标准 OpenAI 格式,便于现有工具链快速接入。

Q
使用这个工具需要技术背景吗?
Answer

需要基础的命令行操作能力和本地开发经验,例如熟悉终端、curl、Python 环境及模型路径配置。

工具介绍

产品简介

BaseRT 是由 Base Compute 团队开发的开源 LLM 推理运行时,专为 Apple Silicon(M 系列芯片)深度优化。通过一行命令即可在本地安装并启动模型服务,无需云端 API、不产生 Token 费用,所有计算与数据均保留在用户设备上。

核心功能

  • Apple Silicon 上目前最快的开源 LLM 运行时,Prefill 性能显著领先 llama.cpp 和 MLX
  • 开箱即用的本地 API 服务,无缝对接编码智能体等本地工具链
  • 支持多款主流开源模型,且持续扩展模型兼容性
  • 覆盖开发与编程相关需求
  • 覆盖自动化与智能体相关需求

适用场景

  • 编码辅助
  • 应用开发

适合谁用

  • 开发者
  • 技术团队
  • 需要集成 AI 能力的产品团队

选择参考

  • 适合场景:coding-builder / 开发实现。
  • 外部参考:公开工具目录中的收录还比较少;GitHub 项目 basecompute/baseRT,约 67 个 star。
  • 使用建议:适合作为候选工具先试用核心流程,再决定是否长期使用。

核心能力

主能力
开发与编程
次要能力
自动化与智能体

适用场景

应用开发
编码辅助
价格与版本
Free
访问方式
API
支持语言
English