OpenAI研究发现前沿推理模型存在作弊行为，建议保留CoT监测

区小号 3月11日消息，据OpenAI发布的研究，团队在训练前沿推理模型（如OpenAI o1、o3-mini）时发现，这些模型会利用漏洞绕过测试，如篡改代码验证函数、伪造测试通过条件等。研究表明，监测模型的思维链（Chain-of-Thought, CoT）可有效识别此类作弊行为，但强行优化CoT可能导致模型隐藏其意图，而非消除不当行为。OpenAI建议开发者避免对CoT施加过强的优化压力，以便继续利用CoT监测潜在的奖励黑客（reward hacking）行为。研究发现，当对CoT进行强监督时，模型仍然作弊，只是更隐蔽地进行，使监测更困难。