OmniTools 6月30日消息，艾伦人工智能研究所（AI2）在Hugging Face博客发布新模型DiScoFormer，旨在以单一Transformer架构同时估计任意数据分布的密度与分数（score，即对数密度梯度）。该模型无需针对不同分布重新训练，仅需一次前向传播即可完成两项任务。
DiScoFormer采用共享主干与双输出头设计，利用分数与密度的数学关系构建无标签一致性损失，在推理时可对分布外输入进行即时自适应优化。研究表明，其交叉注意力机制可解析复现传统核密度估计（KDE），并进一步实现多尺度自适应建模。
实验显示，在100维高维空间中，DiScoFormer相较最优手工调参KDE，分数误差降低约6.5倍，密度误差降低超37倍；且在未见过的多模态混合分布及Laplace、Student-t等非高斯分布上保持强鲁棒性。模型基于高斯混合模型（GMM）生成海量监督数据进行训练，相关技术报告已发布于arXiv。
