IFM 发布 K2 Horizon 六款开源大模型,覆盖 0.9B 至 375B-A23B
IFM 9月3日消息,IFM 正式发布 K2 Horizon 模型系列,共包含六款开源大语言模型:375B A23B、36B A4B、32B、7B、3.7B 和 0.9B,全部采用 Apache 2.0 许可证。 其中,0.9B、3.7B 和 7B 三个模型宣称在其参数规模上达到当前最优(SOTA)性能;36B A4B 模型则首次应用 IFM 自研的稀疏注意力架构 MoVA。 该系列模型同步开放完整训练生命周期数据,包括预训练、后训练及评估细...