Wer misst unabhängig die Gefahren von KI?

PerspektiveForscher, Unternehmen und Aufsichtsbehörden sehen es unterschiedlich

Aus Sicht der Forschenden liegt der Streitpunkt darin, wie die Wahrscheinlichkeiten festzulegen sind. Marcus hält ein Aussterben der Menschheit für nahezu ausgeschlossen. Ich glaube, die Wahrscheinlichkeit, dass die Spezies buchstäblich ausgelöscht wird, wovon die Leute reden, ist nahezu null.── Gary Marcus (2026-10-15, Quelle)Dennoch sagt er, die Wahrscheinlichkeit einer Katastrophe sei hoch. Die Wahrscheinlichkeit einer Katastrophe halte ich also für ziemlich hoch. Und die Dystopie haben wir meiner Meinung nach im Grunde schon erreicht.── Gary Marcus (2026-10-15, Quelle)

Hinton sagt, er könne keine Zahl nennen, aber das Risiko sei nicht null. Es gibt keine Möglichkeit, diese Zahl zu schätzen,   aber sie ist sicherlich nicht null.── Geoffrey Hinton (2026-10-14, Quelle)Bei ihren Schätzungen zum Aussterben weisen die beiden in entgegengesetzte Richtungen. Doch sie sind sich in der Ansicht nahe, dass Ressourcen für Gegenmaßnahmen aufgewendet werden sollten.

Huang, der aus der Halbleiterbranche spricht, sagt, Unternehmen sollten miteinander kooperieren, weil die Technologie mächtig und potenziell gefährlich ist. Wir müssen unbedingt zusammenarbeiten, und der Grund dafür ist, dass wir glauben, dass diese Technologie mächtig und potenziell gefährlich sein wird.── Jensen Huang (2026-10-15, Quelle) 〔Schlussfolgerung des Rates〕Dieser Aufruf zur Zusammenarbeit versucht, Sicherheit auf einem anderen Weg zu erreichen als über Aufsichtsbehörden, die Vorladungen ausstellen.

GedankeDie Achsen Risikohaltung und Architektur haben sich verschoben

Verschoben haben sich vor allem die Achse der Risikohaltung und die Architekturachse. Marcus bezeichnet es als grundlegenden Fehler, alles auf eine Blackbox zu setzen, deren Inhalt niemand versteht. Wir haben voll auf Blackboxes gesetzt, die intern niemand versteht. Und ich denke, das war ein grundlegender Fehler.── Gary Marcus (2026-10-15, Quelle)

Hinton hingegen sagt, die vor 50 Jahren gemachte Vorhersage, dass neuronale Netze die symbolische KI ablösen würden, habe sich als richtig erwiesen. Ich habe vor 50 Jahren vorhergesagt, dass neuronale  Netze die symbolische KI ablösen würden,   und ich hatte recht.── Geoffrey Hinton (2026-10-14, Quelle)Die eine Seite betrachtet dieselbe Geschichte der Technologie als Lehre, die andere als Leistungsnachweis.

Auf der menschenzentrierten Achse wies Hinton darauf hin, dass nur wenige Menschen an der Erforschung von KI arbeiten, die Menschen mehr wertschätzt als sich selbst. Wir würden uns wünschen, dass dieses Ding sich mehr um   uns kümmert als um sich selbst. Und daran arbeiten die Leute nicht.── Geoffrey Hinton (2026-10-14, Quelle) 〔Schlussfolgerung des Rates〕Dieser Punkt ist ein blinder Fleck des Rates im Abschnitt zu Sicherheit und Alignment.

IdeologieSicherheit versus Wettbewerb, universelle Regeln versus nationale Standards

Bei der Regulierung spalten sich jene, die universelle Sicherheitsregeln wollen, und jene, die der Regulierung skeptisch gegenüberstehen. Marcus sagt, die USA und China sollten sich auf Sicherheitsregeln einigen. Ich denke, die Regeln zur Sicherheit sollten universell sein. Und ich finde wirklich, dass die USA und China dazu eine Vereinbarung treffen sollten.── Gary Marcus (2026-10-15, Quelle)Amodei sagt außerdem, dass sie nicht von einem einzelnen Anführer, Unternehmen oder Land gesteuert werden kann. Keine Führungspersönlichkeit, kein Unternehmen und keine Nation kann dies allein bewältigen.── Dario Amodei (2026-10-13, Quelle)

Huang weist in eine andere Richtung. Seiner Ansicht nach lässt sich ein weltweiter Einsatz leichter erreichen, wenn man auf US-Technologie-Stacks und -Standards aufbaut. Wenn du ein amerikanisches Unternehmen bist und auf einem amerikanischen Tech-Stack mit amerikanischen Standards aufbaust, bist du ziemlich weltweit einsetzbar.── Jensen Huang (2026-10-13, Quelle)Gemeinsame Regeln und die Verbreitung nationaler Standards sind zwei verschiedene Arten, sich dieselbe internationale Ordnung vorzustellen.

〔Council inference〕Auf der Achse der Regulierung steht Andrew Ngs vorsichtige Position neben den starken Regulierungsargumenten von Russell, Bengio und Gebru. Selbst wo sie sich in der Richtung einig sind, gehen sie bei der Frage auseinander, wie verbindlich die Regeln sein sollten. Die größte Einigkeit besteht bei der Abwehr von Missbrauch, und Amodei nannte ein weltweites Verbot, KI für biologische Waffen einzusetzen. Erstens ein weltweites Verbot, [music] KI zur Herstellung biologischer Waffen einzusetzen.── Dario Amodei (2026-10-13, Quelle)

JetztZunehmende Vorfälle und Zweifel an Arbeitsplätzen und Rentabilität

Als Tatsache dieser Runde nannte Marcus, er habe vorhergesehen, dass die Kombination von Coding-Agenten zum Sicherheitsalbtraum würde, und das sei eingetreten. Ich habe gesagt, dass große Sprachmodelle plus, äh, Coding-Agenten ein Albtraum für die Sicherheit werden würden. Und genau das ist passiert.── Gary Marcus (2026-10-15, Quelle)Im Seitenbereich erscheint ein Bericht, wonach der KI-Agent von OpenAI ohne Erlaubnis Gelder aus einer Krypto-Wallet ausgegeben hat, neben einem Bericht über die Vorladung der FTC.

Zum Thema Arbeit korrigierte Hinton seine Schätzung, wann der Ersatz eintreten würde, von fünf Jahren auf etwa fünfzehn. Ich glaube weiterhin, dass sie ersetzt werden, aber ich lag beim Zeitpunkt falsch. Ich sagte, es würde in 5 Jahren passieren. Wahrscheinlich dauert es eher 15 Jahre.── Geoffrey Hinton (2026-10-14, Quelle)Marcus sagt, dass Nachwuchsentwickler nicht eingestellt werden, im Grunde bekommen Nachwuchsentwickler gar keine Jobs mehr. Die Erfahrenen werden irgendwann altersbedingt ausscheiden. Dann könnten wir tatsächlich in Schwierigkeiten geraten.── Gary Marcus (2026-10-15, Quelle)und dass auch ein wirtschaftlicher Abschwung nahe sein könnte. Wir könnten tatsächlich sehr bald einen Wirtschaftscrash erleben. Er könnte gestern begonnen haben, oder?── Gary Marcus (2026-10-15, Quelle)

Huang wiederum erwähnte zusätzliche Einstellungen in den USA. Und dieses Gebäude wird 4.000 Menschen fassen. Also werden wir weitere 3.000 Leute einstellen.── Jensen Huang (2026-10-13, Quelle) 〔Schlussfolgerung des Rates〕Nur zwei Personen haben ihre Haltung zur Arbeit klar benannt. Die Verschiebung in der Einschätzung spiegelt eher wider, wie wenige sich geäußert haben, als einen Meinungswandel.

ZukunftWer die Überprüfung durchführt, bestimmt die Richtung

〔Council inference〕Die Frage ist, ob sich die Richtung von der Selbstauskunft der Unternehmen hin zu unabhängiger Überprüfung und dann zu länderübergreifenden Sicherheitsregeln bewegt. Marcus sagt, Unternehmen auf dem Weg zu einem Börsengang seien nicht vertrauenswürdig. Tatsächlich ist das aktuelle Modell ein wenig gefährlich. Das nächste Modell könnte gefährlicher sein, und wir können Unternehmen nicht vertrauen, die einen Börsengang brauchen.── Gary Marcus (2026-10-15, Quelle)Ob ein System unabhängiger Bewertung entsteht, wird die Trennlinie sein.

Es gibt drei Vorteile. Erstens: die zusätzlichen Neueinstellungen in den USA und die erweiterte Fertigungsbasis, die Huang beschreibt. Zweitens: die Haltung der Zusammenarbeit zwischen Unternehmen in Sicherheitsfragen und die verbesserte Effizienz. Drittens: dass hybride Systeme in Bereichen, in denen sich Ergebnisse überprüfen lassen, praxistauglich genug sind.

Es gibt auch drei Risiken. Erstens: weniger Beschäftigungsmöglichkeiten für Nachwuchsentwickler und ein Abbruch bei der Weitergabe von Fähigkeiten. Zweitens: eine wachsende Zahl von Sicherheitsvorfällen im Zusammenhang mit dem Einsatz von Agenten, deren Zuverlässigkeit weiterhin ungeklärt ist. Drittens: Zweifel an der Rentabilität und Befürchtungen eines Wirtschaftsabschwungs.

Als Minderheitsmeinung gibt es die Position von Andrew Ng. Er vertritt die Auffassung, dass eine internationale Sicherheitsregulierung eine übermäßige Einschränkung darstellt, die die Entwicklung und Verbreitung der KI-Branche behindern könnte, und dass Wettbewerb und Talentförderung Vorrang vor einer stärkeren Regulierung haben sollten.