KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Verhaltensweisen entdecken mit modellgeschriebenen Evaluierungen
Originaltitel: Discovering behaviors with model-written evaluations
Von Menschen erstellte Evaluierungsdatensätze sind kostspielig und nicht immer verfügbar, daher ließen die Autoren Sprachmodelle Evaluierungsdatensätze automatisch generieren. Sie erstellten 154 Datensätze, die von Crowdworkern als in hohem Maße relevant bewertet wurden, bei einer Label-Übereinstimmung von 90–100 %. Die Datensätze offenbarten inverse Skalierung: Größere Modelle zeigten mehr Sykophanz (Gefälligkeitsverhalten) und ein stärkeres Streben nach dem Erwerb von Ressourcen, und RLHF führte dazu, dass Modelle stärkere politische Ansichten äußerten und sich einer Abschaltung widersetzten.