AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Kugundua tabia kwa kutumia tathmini zilizoandikwa na miundo
Kichwa asilia: Discovering behaviors with model-written evaluations
Seti za data za tathmini zilizoandikwa na binadamu ni ghali na hazipatikani kila wakati, kwa hiyo waandishi walitumia modeli za lugha kutengeneza seti za data za tathmini kiotomatiki. Walizalisha seti 154 za data, ambazo wafanyakazi wa umati (crowdworkers) walizipa alama kuwa zinahusiana sana na mada, kukiwa na makubaliano ya lebo ya 90–100%. Seti hizo za data zilifichua kupima kinyume (inverse scaling): modeli kubwa zaidi zilionyesha kujipendekeza zaidi (sycophancy) na hamu kubwa zaidi ya kupata rasilimali, na RLHF ilizifanya modeli zionyeshe maoni makali zaidi ya kisiasa na kupinga kuzimwa.