OmniTools 6月18日消息，Hugging Face近日在其博客发布PEFT（参数高效微调）技术基准测试结果，涵盖大语言模型数学推理与图像生成两大任务。测试在统一硬件、数据集和代码条件下对比LoRA及OFT、BEFT、Lily等十余种PEFT方法，发现LoRA虽表现稳健，但在部分指标上并非最优：例如在图像生成任务中，OFT以0.708的DINO相似度得分和9.01GB显存占用，同时优于LoRA的0.697得分与9.97GB显存消耗。
在LLM数学推理任务（GSM8K）中，LoRA（经秩稳定初始化）达53.2%准确率、峰值显存22.6GB，但Lily以54.9%准确率略胜，BEFT则以20.2GB显存实现32.9%准确率，三者共同构成帕累托前沿。研究指出，标准LoRA（未经优化初始化）仅达48.1%准确率，建议用户优先采用改进变体。
Hugging Face强调，论文宣称的性能优势常受限于非统一实验设置与调参偏差，实际选型应基于自身硬件约束与核心指标（如显存、推理速度、检查点大小）开展实测。其PEFT库已支持一键切换配置并复现全部基准，相关结果持续更新于公开Space中。