Llmspeed 开源工具可预估本地大模型在不同硬件上的推理速度

OmniTools 10月17日消息，开源工具 Llmspeed 正式上线，旨在帮助用户在购置硬件前预估本地大语言模型（LLM）在特定设备上的短提示词推理速度。该工具的速度估算主要基于 r/LocalLLaMA、localscore.ai 等社区的实测基准数据，其余配置则通过相似硬件推导或按规格参数计算得出。目前项目代码已托管于 GitHub，面向开发者与硬件评估者开放使用。