Ai2 发布 StateBench：评测语言模型长文档状态追踪能力

OmniTools 11月4日消息，Ai2（allenai）发布 StateBench，一个面向长上下文状态追踪的基准测试，用于衡量语言模型在长文档中能否持续跟踪实体信息的变化。该基准按难度分为四级：r-trivial（不可变赋值）、aperiodic（按值重新赋值）、soluble（自引用更新）和 general finite（按引用赋值），并要求同一底层问题在多种格式下测试。

在预训练模型测试中，团队使用了同为 70 亿参数的 Olmo 3（Transformer）与加入 Gated DeltaNet 层的 Olmo Hybrid，以及 2.75 亿和 27 亿参数的较小模型，这些模型训练时上下文均不超过 64,000 token，但多数测试输入远超该长度。结果显示，几乎所有模型在 r-trivial 上表现良好，随着输入变长在 aperiodic 上准确率下降，在 general finite 上则接近随机水平；问题格式也有影响，2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格任务上接近满分，但同样问题以表格编辑形式呈现时接近随机。

前沿模型方面，Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在 r-trivial 与 aperiodic 上表现良好，但在 soluble 和 general finite 上准确率随输入增长大幅下滑，在最长的 general finite 问题上降至 13% 或更低。团队还用 2.75 亿参数模型直接在任务上训练，训练序列最长 256 次赋值、测试最长 64,000 次赋值，约为训练长度的 250 倍：Gated DeltaNet 与混合模型在 r-trivial、aperiodic、soluble 上几乎完美泛化，Transformer 虽学会较简单层级，但始终未能学会 general finite；采用更灵活记忆更新的 Gated DeltaNet 变体在最困难层级上泛化最远，在约 10 倍训练长度内保持接近满分。团队同时发布了技术报告、数据集与代码。