开源工具 Janus 发布：基于 Vulkan 的 Go 二进制文件，支持多厂商 GPU 运行 GGUF 模型

OmniTools 10月3日消息，近日，开源项目 Janus 正式亮相。该项目是一个使用 Go 语言编写的轻量级二进制工具，旨在通过 Vulkan API 在 AMD、Intel 和 Nvidia GPU 上本地运行 GGUF 格式的机器学习模型。

与依赖 CUDA 或 Python 生态的传统方案不同，Janus 强调跨厂商 GPU 的兼容性与部署的简洁性，目前代码已托管于 GitHub 并处于早期开发阶段。GGUF 格式作为当前本地大模型推理的主流量化标准，该工具的推出为多平台模型部署提供了新的轻量级选择。