OmniTools 7月8日消息，法国AI初创公司ZML正式发布ZML/LLMD——一款面向大语言模型推理的免费服务器软件。该工具支持在Nvidia、AMD、Google TPU、Apple Metal及Intel Arc等多种芯片上高效运行开源大语言模型，旨在打破硬件厂商间的生态壁垒，提升推理性能并降低部署成本。
ZML创始人Steeve Morin表示，ZML/LLMD聚焦于推理阶段优化，目标是让不同芯片均能发挥最大可用算力，部分场景下甚至实现性能超越。该工具暂未开源，但以免费形式发布，用于收集真实使用反馈。
ZML团队约20人，已获2000万美元融资，投资方包括20VC、Kima Ventures、LocalGlobe等。图灵奖得主Yann LeCun、Hugging Face联合创始人等业界人士参与其早期支持。
