OTRouterClaude、GPT 一个 Key 调用看价格 →
产品与应用官方发布 · huggingface.co

Hugging Face 介绍多向量嵌入模型的 Token 池化感知训练方法

OmniTools 11月11日消息,Hugging Face 博客介绍了一种面向多向量嵌入模型的 Token 池化感知训练方法。多向量模型如 ColBERT 会为文档保留一组上下文 token 向量,让查询的不同部分匹配文档的不同位置,但大规模语料会产生数亿级向量,带来存储压力。

Token 池化通过 Ward 层次聚类合并相似 token 向量,可按文档长度设置 pool_factor,也可用 max_tokens 或 distance_threshold 控制压缩预算。以 pool_factor=4 为例,文档保留约四分之一向量;文章给出的例子中,每文档 200 个 128 维向量、4 bit 残差量化时约需 12.8 KB,压缩到 50 个向量后百万文档存储从 12.8 GB 降至 3.2 GB。

在训练层面,该方法对原始文档嵌入和压缩后文档嵌入分别计算检索损失并等权平均,使编码器在池化后仍保留关键匹配信息;Sentence Transformers 提供 MultiVectorTokenPoolingLoss 封装现有检索损失。评估显示,常规训练模型在 pool_factor=4 时保留未池化 NanoBEIR nDCG@10 的 94.6%,池化感知训练将同一存储预算下的保留率提升至 97.8%。

返回快讯