OmniTools 5月13日消息,Andrej Karpathy指出,当前AI编程场景中约90%的Token支出浪费在发送不必要的上下文上。典型问题包括过度加载文件、用高价模型处理简单任务、Agent重复传输整份代码库,以及默认选用高成本模型而非更优性价比替代方案。
他建议通过严格控制上下文长度、启用提示词缓存、实施多模型路由策略(例如日常任务使用Kimi 2.6,关键推理调用Opus)等方式优化开销。此外,建立SKILL.md文档以避免重复知识重建、优先分析工具调用逻辑再设计提示词,也被列为关键实践。
Karpathy强调,未来开发者每月AI支出差异将主要取决于其上下文管理与模型路由能力,而非单纯技术熟练度。