AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Menemukan perilaku dengan evaluasi yang ditulis oleh model
Judul asli: Discovering behaviors with model-written evaluations
Dataset evaluasi yang ditulis manusia mahal dan tidak selalu tersedia, sehingga para penulis meminta model bahasa menghasilkan dataset evaluasi secara otomatis. Mereka menghasilkan 154 dataset, yang dinilai oleh pekerja kerumunan (crowdworker) sangat relevan, dengan kesepakatan label 90–100%. Dataset tersebut mengungkap penskalaan terbalik: model yang lebih besar menunjukkan lebih banyak sikap penjilat (sycophancy) dan keinginan yang lebih kuat untuk memperoleh sumber daya, dan RLHF membuat model menyatakan pandangan politik yang lebih kuat serta menolak untuk dimatikan.