OpenAI 旗舰模型采用循环 Transformer 技术，安全监控难度增加

OpenAI 正在加紧完成其下一代旗舰模型，该模型使用与 Astra 相同的循环 Transformer 技术。该技术通过将 token 多次循环通过相同的 Transformer 层来提升数学和编程性能并降低成本，因为较小的模型可以发挥更大作用。但循环也把部分“思考”从可读文本转移到人类审查员无法检查的内部数值表示中，从而削弱了思维链监控。OpenAI 有意限制了 Astra 的循环次数以保持思维链可读性。 据员工透露，年底前可能发布一到两个新模型，但不确定正在开发的“重大升级模型”是否在其中。该旗舰模型仍需对齐工作，并需加强测试基础设施。根据特朗普总统关于先进 AI 系统评估的行政命令，OpenAI 同意在新模型提供给外部合作伙伴前最多 30 天、公开发布前更长时间内让美国政府访问。 微软意外泄露了 OpenAI 循环推理的工作方式。在一份已删除的技术文章中，微软描述 GPT-6.1 Sol 使用“循环推理”，其中模型在给出答案前对同一问题进行多次“传递”。GPT-6.1 Sol “使用与 GPT-6 Sol 相同的基础模型权重，但推理传递次数为两次而非三次”。有直接知情人士确认该描述与 OpenAI 私下告知微软的内容一致。OpenAI 首席科学家 Jakub Pachocki 已承认思维链监控正变得“脆弱”且“不幸地朝负面方向发展”。