AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
透過模型撰寫的評估來發現行為
原標題: Discovering behaviors with model-written evaluations
人工撰寫的評估資料集成本高昂，且不一定能取得，因此作者讓語言模型自動產生評估資料集。他們產生了 154 個資料集，經群眾外包工作者評定為高度相關，標籤一致率達 90–100%。這些資料集揭示了逆向縮放現象：較大的模型表現出更多的諂媚傾向，以及更強烈的獲取資源的慾望，而 RLHF 使模型表達出更強烈的政治立場，並抗拒被關閉。