AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
利用模型编写的评估发现模型行为
原标题: Discovering behaviors with model-written evaluations
人工编写的评估数据集成本高昂，而且并非总能获得，因此作者让语言模型自动生成评估数据集。他们生成了154个数据集，众包工作者认为这些数据集的相关性很高，标签一致率为90–100%。这些数据集揭示了逆向缩放现象：更大的模型表现出更多的谄媚倾向和更强烈的获取资源的欲望，而RLHF使模型表达出更强烈的政治观点，并抗拒被关闭。