产品与应用官方发布 · huggingface.co
AI2推出面向GPU集群的影响导向调度系统
OmniTools 10月9日消息,艾伦人工智能研究所(AI2)在Hugging Face博客发布文章,详细介绍其新开发的GPU集群调度系统。该系统以研究项目预期影响为核心依据,取代原有基于优先级的调度机制,引入GPU时间预算、分层公平共享分配及时间切片调度协议。
新系统将资源分配从个案协商转为透明化预算管理,要求所有任务必须关联预算才受保护免于抢占;未关联预算的任务可被随时抢占,但不消耗团队配额。调度器基于7天滑动窗口跟踪各团队实际占用率,动态调整任务排序,确保预算内资源按比例兑现。
AI2指出,旧系统存在GPU“占位”、优先级通胀及运维响应负担过重等问题,根源在于共享资源下的个体理性导致集体低效。新方案通过经济化激励设计,使滥用调度机制的成本高于诚实申请预算的成本,从而在保障高价值研究的同时维持集群满负荷运转。