安全与政策官方发布 · alignment.openai.com
OpenAI 介绍自动化红队训练方法,提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性
OmniTools 11月13日消息,OpenAI 研究团队介绍了一种提升模型在网络、生物等高风险双用途领域模糊鲁棒性的方法,涉及 GPT-6 Astra 和 Sol。
该方法通过自动化红队扩大攻击者模型的测试时算力,迭代搜索越狱,并要求攻击在多次重复测试中成功(worst@n),以生成可靠的对抗训练数据。
这些数据随后用于强化学习训练,目标是提升模型在高风险领域的模糊鲁棒性。