KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-10-07
Automatisierte Forscher können Alignment-Fehler zuverlässig abschwächen
Originaltitel: Automated researchers can reliably mitigate alignment failures
Anthropic ließ Claude autonom Modelle trainieren, um die Leistung bei öffentlichen Benchmarks zu verbessern, die 10 Kategorien von Alignment-Fehlern abdecken. Für alle 10 fand Claude Korrekturen, die die Ergebnisse im Ziel-Benchmark steigerten, ohne die allgemeinen Fähigkeiten zu beeinträchtigen. Die Arbeit soll es der Sicherheitsforschung ermöglichen, Schritt zu halten, da KI zunehmend beim Bau von KI hilft.