AI2推出DiScoFormer模型:单Transformer统一估计分布密度与分数
艾伦人工智能研究所(AI2)在Hugging Face博客发布新模型DiScoFormer,旨在以单一Transformer架构同时估计任意数据分布的密度与分数(score,即对数密度梯度)。该模型无需针对不同分布重新训练,仅需一次前向传播即可完成两项任务。 DiScoFormer采用共享主干与双输出头设计,利用分数与密度的数学关系构建无标签一致性损失,在推理时可对分布外输入进行即时自适应优化。研究表明,其交叉注意力机制可解析复现传统核密度...