这个工具是否提供免费版？

SMG 是开源项目，采用 Apache-2.0 许可证，源代码和二进制均可免费使用、修改和分发。

这个工具支持哪些访问方式？

SMG 通过 API 提供服务，支持 OpenAI 兼容端点、gRPC 接口和 Anthropic Messages API。用户可通过 Docker 镜像、Python CLI 或 Rust CLI 部署运行。

这个工具是否支持 API？

是的，SMG 本身就是 API 网关，提供完整的 OpenAI 兼容 API（/v1/chat/completions 等）、gRPC 接口和管理端点（/workers、/tokenizers 等），支持聊天补全、嵌入、重排序和工具调用等功能。

使用这个工具需要技术背景吗？

需要一定的工程与运维背景，熟悉 Docker、Kubernetes、gRPC 和 LLM 推理框架（如 vLLM、SGLang）的团队能更高效地部署和使用。

返回目录

SMG

基于 Rust 构建的高性能模型路由网关，统一调度自托管与云端 LLM 推理服务。

访问官网

编辑点评

"SMG 以 Rust 原生性能与 KV 缓存感知路由为核心，为大规模 LLM 部署提供统一、可观测且高可用的网关方案，适合对吞吐与延迟有严格要求的工程团队。"

优势

• KV 缓存感知路由显著提升 GPU 利用率与前缀复用效率
• 原生 Rust 与 gRPC 管道实现亚毫秒级路由决策
• 支持 8 种负载均衡策略与高可用网状网络集群部署

局限

• 面向工程团队，需要一定的基础设施与运维经验

Q&A

快速了解这个工具的常见问题与答案

这个工具是否提供免费版？: Answer
SMG 是开源项目，采用 Apache-2.0 许可证，源代码和二进制均可免费使用、修改和分发。
这个工具支持哪些访问方式？: Answer
SMG 通过 API 提供服务，支持 OpenAI 兼容端点、gRPC 接口和 Anthropic Messages API。用户可通过 Docker 镜像、Python CLI 或 Rust CLI 部署运行。
这个工具是否支持 API？: Answer
是的，SMG 本身就是 API 网关，提供完整的 OpenAI 兼容 API（/v1/chat/completions 等）、gRPC 接口和管理端点（/workers、/tokenizers 等），支持聊天补全、嵌入、重排序和工具调用等功能。
使用这个工具需要技术背景吗？: Answer
需要一定的工程与运维背景，熟悉 Docker、Kubernetes、gRPC 和 LLM 推理框架（如 vLLM、SGLang）的团队能更高效地部署和使用。

工具介绍

产品简介

SMG（Shepherd Model Gateway）是一款基于 Rust 开发的引擎无关型高性能模型路由网关，专为大规模 LLM 部署设计。它集中管理工作节点生命周期，支持在 HTTP、gRPC 和 OpenAI 兼容后端之间进行流量均衡，并提供企业级的历史存储、MCP 工具集成和隐私敏感工作流控制能力。

核心功能

KV 缓存感知路由显著提升 GPU 利用率与前缀复用效率
原生 Rust 与 gRPC 管道实现亚毫秒级路由决策
支持 8 种负载均衡策略与高可用网状网络集群部署
覆盖开发与编程相关需求

适用场景

应用开发

适合谁用

开发者
技术团队
需要集成 AI 能力的产品团队

选择参考

适合场景：知识库与资料整理 / 运营维护。
外部参考：公开工具目录中的收录还比较少；GitHub 项目 security/advanced-security；可找到 8 个相关视频或教程。
使用建议：适合先做轻量试用，确认是否贴合自己的工作流。

核心能力

主能力

开发与编程

次要能力

暂无次要能力

适用场景

应用开发

价格与版本

暂无定价模型

访问方式

API

支持语言

Multilingual