OmniTools 5月13日消息,OpenAI 为 Codex 引入 Computer Use 能力,使其可操作本地图形界面(GUI)应用,不再局限于代码执行。该功能目前已在 Mac 系统上线,Windows 版本即将推出。
Codex 通过独立光标与系统交互,不接管用户键鼠输入,支持人机并行操作。其技术架构融合屏幕视觉理解与操作系统无障碍框架 API,底层 Spark 模型利用无障碍数据提升任务执行效率。安全方面采用逐应用权限授权机制,所有应用访问均需用户显式许可,以保障本地隐私与系统安全。