开发者在 8 美元 ESP32-S3 微控制器上本地运行 28.9M 参数大语言模型

OmniTools 7月26日消息，开发者已成功在售价约 8 美元的 ESP32-S3 微控制器上本地部署并运行一个 28.9M 参数的大语言模型。该模型全程离线运行，无需连接外部服务器。

实测生成速度约为 9.5 token/s，验证了低功耗嵌入式设备运行中等规模语言模型的可行性。此举为边缘 AI 应用提供了新的硬件选择路径。