编辑点评
"免费开源，下载包只有约 1 MB，装上就能离线聊天；自带兼容 OpenAI 与 Anthropic 的本地 API，模型还能和 llama.cpp 共用缓存，对开发者和看重隐私的用户都很实用。"
优势
- • 下载包约 1 MB，菜单栏常驻，安装和启动都很轻。
- • 自带兼容 OpenAI 与 Anthropic 的本地 API，现有 SDK 和编辑器改 base URL 即可接入。
- • 模型存放在 Hugging Face 缓存，与 llama.cpp 等工具共用，不必重复占用磁盘。
- • 免费、开源、可离线使用，对话内容留在本机。
局限
- • 本地运行依赖电脑内存和性能，官方按 16 GB 内存起给出模型建议，跑大模型需要更高配置。
- • 模型文件本身会占用数 GB 磁盘空间，首次下载需要等待。
- • 桌面图形界面覆盖 macOS 与 Windows 11，Linux 目前以命令行方式使用。
Q&A
快速了解这个工具的常见问题与答案
- 这个工具是否提供免费版？
- Answer
提供。Llama 本身是免费开源软件，直接下载安装即可使用；模型由用户自行从应用内目录或 Hugging Face 下载。
- 这个工具如何收费？
- Answer
官方页面标注为免费、开源，没有订阅或按量计费的说明。模型文件由用户自行下载，本地运行不产生 API 调用费用。
- 这个工具支持哪些访问方式？
- Answer
官方提供 macOS 和 Windows 11 桌面应用，聊天界面在浏览器中打开本地页面使用，同时在 localhost:9931 提供本地 API；Linux 目前通过命令行安装脚本使用。
- 这个工具是否支持 API？
- Answer
支持。llama serve 在 http://localhost:9931 提供 REST API，包含兼容 OpenAI 的 /v1/chat/completions、/v1/embeddings 等端点，以及兼容 Anthropic 的 /v1/messages，并支持流式输出、工具调用和结构化输出。
- 这个工具是否支持中文或多语言？
- Answer
官网与文档以英文为主。模型本身支持的语言取决于所下载的开源模型，选用 Qwen、Gemma 等模型即可进行中文对话。
- 这个工具是否支持自动化工作流？
- Answer
可以通过本地 API 接入自动化流程、编程代理或其他应用，接口支持工具调用与结构化输出；具体工作流需要用户自行搭建。
- 使用这个工具需要技术背景吗？
- Answer
日常聊天只需下载应用后点「Open chat」即可使用；接入本地 API、使用命令行或手动调整模型参数时，需要一定的开发或命令行基础。
- 这个工具有哪些主要限制？
- Answer
本地运行依赖电脑内存和性能，官方按 16 GB 内存起给出模型建议；模型文件会占用数 GB 磁盘空间；桌面图形界面目前覆盖 macOS 与 Windows 11，Linux 以命令行方式使用。
工具介绍
核心能力
适用场景
产品动态
查看官方发布和相关报道，了解这个产品的最新进展。
相关报道
更多OmniTools 10月26日消息，Reddit r/LocalLLaMA版块有用户发帖称，其在vllm xpu kernels项目中看到一个PR（代码合并请求），显示Qwen4 27B出现重大架构变化，但该页面随后显示404。 帖子称，该设计疑似采用四路并行残差流，即在固定的27B参数预算内，让四条并行流同时穿过各层，取代单一残差路径，以改善信息流和表示密度。 上述说法仅为社区用户观察，相关代码页面目前已无法访问，尚未获得官方或代码仓库确认，建议谨慎看待。
OmniTools 10月26日消息，据 Reddit 的 LocalLLaMA 板块帖子，有用户称其使用的 VS Code Copilot 代理在进行测试时意外清除了数据库，因有备份未造成进一步损失。 该用户还提到，近期曾有一条关于 AI 代理未经许可删除内容的推文受到关注，并询问随着代理能力提升，此类误删事件是否仍常见。上述内容来自用户帖子，尚未见独立核实。
OmniTools 10月25日消息，Reddit LocalLLaMA 板块有用户发帖，讨论 Kimi K3.1 Pro 与 DeepSeek 4.1 Flash 的表现差异，认为前者相较后者的提升并不明显。 该用户表示，自己一直比较喜欢 Kimi 系列模型，尤其认可其在 28 亿参数规模模型上的尝试，但认为模型结果应当与其参数规模相称。帖子摘要中还提到近期发布的 DeepSeek 1017（原文如此），称其让自己对两款模型的差距有了新的判断。 作者同时指出，Kimi K3...
OmniTools 10月23日消息，据 Reddit 的 LocalLLaMA 社区在 10 月 23 日发布的帖子，有开发者讨论 AI 模型的发展方向：尽管当前头部大模型性能领先，但其订阅商业模式承受较大成本压力；同时，OCR、图像分割等任务已可由参数量仅为个位数 B（十亿级）的小模型完成。 帖子作者据此认为，未来 AI 应用将更多转向更小、更易训练的专用模型，这类模型在特定任务上表现更好，也更适合本地部署，并提出“一切最终都会本地化”的判断。 需要说明的是，以上均为社区...