Janas 开源项目支持在内存不足时通过 SSD 流式加载专家模块运行大语言模型

OmniTools 10月13日消息，开源项目 Janas 提出一种新方法，使大语言模型（LLM）可在物理内存（RAM）小于模型总参数量的情况下运行。其核心机制是将模型拆分为多个专家模块，并按需从固态硬盘（SSD）流式加载，而非全部驻留内存。

该项目当前代码已托管于 GitHub，由开发者 prabanta-dev 发布，属于轻量级系统级优化方案，适用于资源受限环境下的 LLM 推理场景。

需注意，该技术不改变模型结构或训练流程，仅聚焦于推理阶段的内存管理与加载调度。