OmniTools 5月23日消息，据知名半导体与AI研究机构SemiAnalysis最新披露的数据，智能体（Agent）类工作负载正显著改变大模型推理的经济结构。研究基于43.2万个真实编码智能体请求样本进行分析，发现其输入Token中位数并非此前行业预估的3.2万或6.4万，而是高达9.6万。
该数据意味着，在用户实际发出提问前，模型已预先处理了相当于整部《了不起的盖茨比》文本长度的上下文信息。这一趋势直观反映出智能体对长上下文理解与自主规划能力的强依赖，同时也对推理成本控制、响应延迟优化及底层硬件资源调度提出了全新挑战。