L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Vers la monosémanticité
Titre original: Towards monosemanticity
Les neurones individuels des réseaux de neurones portent souvent plusieurs significations à la fois, ce qui les rend difficiles à interpréter. À l'aide de l'apprentissage de dictionnaire, les chercheurs ont décomposé une couche de transformeur de 512 neurones en plus de 4 000 caractéristiques, chacune correspondant à un motif d'activations de neurones. Ces caractéristiques représentent séparément des éléments tels que des séquences d'ADN, le langage juridique, des requêtes HTTP, du texte en hébreu et des mentions nutritionnelles, des propriétés qui ne sont pas visibles lorsqu'on examine les neurones un par un.