Hugging Face开源基于TRL与OpenEnv的水彩绘画代码模型训练方案

OmniTools 9月3日消息，Hugging Face 9月3日消息，Hugging Face近日发布技术博客，介绍如何使用TRL（Transformer Reinforcement Learning）与OpenEnv框架训练一个能生成水彩风格JavaScript绘图代码的语言模型。该方案复现了Surya Narreddi此前引发广泛关注的项目——模型通过调用p5.brush库编写约150行JS代码，模拟真实水彩媒介特性，如颜料晕染、纸张纹理与笔触流动。

训练采用基于人类偏好的强化学习（RLHF变体），奖励函数由四部分构成：代码可执行性（5%）、代码长度（5%）、基于手选178幅水彩图像池的成对视觉评判（60%），以及开源7B偏好模型HPSv3对渲染效果的审美评分（30%）。全部组件——环境、评分模型、训练脚本与产出模型——均已在Hugging Face Hub开源。

项目强调“可解释性”：模型输出为可读、可编辑、可重运行的代码，且严格限制仅使用p5.brush提供的10个方法以确保水彩风格一致性。目前三个不同奖励权重配置的训练运行已完成，相关数据集、Space演示与Inference Provider集成均已公开。