AIの規制・安全・地政学 ・ 🧪 安全性の研究と評価

利用者の適応がLLMの評価をゆがめる理由

CASRAI 🔗 共有用URL 11/15 16:43 UTC 🔗 共有用URL OpenAI財団の理事「AI事故が人類の主な死因になる日は近い」 — BigGo Finance 🔗 共有用URL 11/15 06:05 UTC 🔗 共有用URL 中国のAI企業、オープンウェイトのサイバーリスク抑制と競争力は両立するか — South China Morning Post 🔗 共有用URL 11/15 02:00 UTC 🔗 共有用URL インドの企業でAI導入に人事とITの溝、戦略で意見が対立 — BW People · 11/15 18:12 UTC

コロンビア大学の研究によると、利用者の適応が対話型のLLM評価に偏りを生じさせる。その結果、オフラインのベンチマークと実際のA/Bテストで順位が逆転する。

原文を読む(CASRAI 🔗 共有用URL 11/15 16:43 UTC 🔗 共有用URL OpenAI財団の理事「AI事故が人類の主な死因になる日は近い」 — BigGo Finance 🔗 共有用URL 11/15 06:05 UTC 🔗 共有用URL 中国のAI企業、オープンウェイトのサイバーリスク抑制と競争力は両立するか — South China Morning Post 🔗 共有用URL 11/15 02:00 UTC 🔗 共有用URL インドの企業でAI導入に人事とITの溝、戦略で意見が対立 — BW People)

和訳と要旨の一覧で見る → ・ この号を見る →