返回行业动态

Arm与Google AI Edge集成优化设备端生成式AI推理

2026/05/14 16:26
查看原文

OmniTools 5月15日消息,Arm第二代可扩展矩阵扩展(SME2)已与Google AI Edge软件栈完成集成,使通用CPU具备高效矩阵计算能力,支持高性能设备端生成式AI运行。

该方案以Stability AI的"stable-audio-open-small"模型为实例,依托LiteRT、XNNPACK和KleidiAI构建自动化“转换—优化—部署”流程。在基于Arm架构的移动设备及笔记本电脑上,该优化方案实现音频生成速度提升超2倍、内存占用降低75%。

实测表明,优化后模型在保持高音频质量的同时,显著提升了边缘设备对复杂AI模型的承载与推理效率。