AWS 提出 Priming 方法，可将预训练 Transformer 改造为混合状态空间架构

OmniTools 10月13日消息，AWS 研究团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出名为 Priming 的新方法。该技术可在不从头训练的前提下，直接复用已有预训练 Transformer 的权重，将其重构为混合状态空间架构（Hybrid SSM）。

该方法大幅降低了模型预训练成本，降幅超过 99%，全流程 Token 消耗不足原始模型预训练预算的 0.5%。相关技术细节与实验数据已发布于 Amazon Science 官方博客。