KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Generalisierung von LLMs mit Einflussfunktionen
Originaltitel: LLM generalization with influence functions
Diese Arbeit skaliert Influence Functions, die abschätzen, wie Trainingsbeispiele das Verhalten eines Modells beeinflussen, mithilfe der EK-FAC-Approximation auf LLMs mit bis zu 52 Milliarden Parametern. Sie erreicht eine ähnliche Genauigkeit wie herkömmliche Schätzer und beschleunigt dabei die Berechnung des Produkts aus inverser Hesse-Matrix und Vektor um Größenordnungen. Die Autoren nutzen sie, um Generalisierungsmuster zu untersuchen, und stellen fest, dass der Einfluss auf nahezu null sinkt, wenn die Reihenfolge von Schlüsselphrasen vertauscht wird.