KI-Einstellungsgesetz von New York City: Nur 18 von 391 Arbeitgebern veröffentlichten Audits── Wenn niemand von außen prüfen kann, ob die vorgeschriebene Prüfung durchgeführt wurde, bleiben Verstöße unbemerkt und niemand wird zur Verantwortung gezogen

Am 14. Oktober 2026 porträtierte Stanford HAI Deb Raji, eine Forscherin, die sich mit der Rechenschaftspflicht von KI befasst, und Raji sagte, das Fachgebiet habe stark unterschätzt, wie schwierig es sein würde, die Gesetze durchzusetzen, für die es gekämpft hatte. Warum bleibt bei KI-Rechenschaftsgesetzen so oft niemand tatsächlich zur Rechenschaft gezogen? Denn wenn niemand von außen prüfen kann, ob die vorgeschriebenen Prüfungen und Mitteilungen erfolgt sind, bleiben Verstöße unsichtbar, und das Verfahren, jemanden zur Verantwortung zu ziehen, beginnt gar nicht erst.

01KI-Gesetze geraten dort ins Stocken, wo Außenstehende die Einhaltung nicht überprüfen können

Ein Gesetz, das existiert, aber nicht durchgesetzt werden kann, hinterlässt eine Spur von Zahlen, und die deutlichste Spur stammt aus einer Stadt, in der ein KI-Gesetz tatsächlich schon seit einiger Zeit gilt. Beginnen wir mit Raji selbst. Sie ist bekannt für Audits kommerzieller Gesichtserkennungssysteme, half bei der Entwicklung von Model Cards, als sie bei Google war, und verbringt diesen Herbst als Visiting Fellow am Stanford HAI, bevor sie im Herbst 2027 in die Fakultät eintritt.

Im Interview beschrieb Raji die Geschichte des Fachgebiets in Phasen. Um 2017 drehte sich das Gespräch ausschließlich um übergeordnete Prinzipien. Von etwa 2020 bis 2023 kamen ernsthafte Gesetzesvorschläge auf. Nach ChatGPT begannen Gesetze verabschiedet zu werden, und eines der von ihr genannten Beispiele war das Local Law 144 der Stadt New York.

Nach der Verabschiedung kommt die Durchsetzung. „Ich glaube, wir haben die Herausforderung der Durchsetzung massiv unterschätzt“, sagte Raji.

Die Bilanz von Local Law 144 weist in dieselbe Richtung. Im Jahr 2024 überprüfte ein Forschungsteam 391 Arbeitgeber und stellte fest, dass nur 18 das vom Gesetz vorgeschriebene Bias-Audit veröffentlicht hatten. Im Jahr 2025 untersuchte der Comptroller des Bundesstaats New York, wie die städtische Behörde das Gesetz durchsetzte. Die Behörde hatte 32 veröffentlichte Audits geprüft und einen möglichen Verstoß gemeldet. Die Prüfer des Bundesstaats lasen dieselben 32 Audits und fanden mindestens 17.

Um es klar zu sagen: Keine dieser Zahlen stammt von Raji. Sie stammen von Wissenschaftlern und aus einer staatlichen Prüfung. Dennoch treffen sich beide Quellen in einer Tatsache: Wenn die Einhaltung der Vorschriften von außen nicht sichtbar ist, kommen Verstöße nicht ans Licht.

Für alle, die KI innerhalb einer Organisation einsetzen, ziehe ich eine praktische Schlussfolgerung. Warten Sie nicht ab, welche Gesetze kommen. Führen Sie über Ihren eigenen KI-Einsatz ein Protokoll, das Außenstehende überprüfen können. Wenn jemand von Ihnen Rechenschaft über eine Entscheidung verlangt, ist dieses Protokoll das Einzige, worauf Ihre Antwort sich stützen kann.

02Local Law 144: Einstellungswerkzeuge brauchen innerhalb eines Jahres ein Bias-Audit, das veröffentlicht wird

Bevor man 18 von 391 als Urteil liest, hilft es zu wissen, welchen Pflichten diese Arbeitgeber genau unterlagen.

Local Law 144 ist ein Gesetz der Stadt New York für automatisierte Entscheidungswerkzeuge im Beschäftigungsbereich, also Software, mit der Arbeitgeber Bewerber vorauswählen oder einstufen. Für die Durchsetzung ist das Department of Consumer and Worker Protection der Stadt zuständig, meist DCWP abgekürzt. Die Pflichten liegen beim Arbeitgeber und folgen einer festen Reihenfolge.

Das Audit muss innerhalb eines Jahres vor dem Einsatz des Tools durchgeführt worden sein. Eine Zusammenfassung der Ergebnisse muss dort veröffentlicht werden, wo jeder sie lesen kann. Bewerber und Beschäftigte müssen zehn Werktage, bevor das Tool bei ihnen eingesetzt wird, benachrichtigt werden. Das DCWP begann am 5. Juli 2023 mit der Durchsetzung des Gesetzes und seiner Vorschriften.

Die Zahl macht ein Merkmal schwer zu übersehen: Die Behörde steht ganz am Ende der Kette. Prüfen, Aushängen und Benachrichtigen sind alles Dinge, die der Arbeitgeber auf seiner eigenen Seite erledigt. Das DCWP kann erst eingreifen, nachdem es erfahren hat, dass einer dieser Schritte fehlt.

Raji zählt diese Art von Bias-Audit zu den praktischen Instrumenten der Durchsetzung. Die Instrumente existierten also auf dem Papier. Der nächste naheliegende Schritt war, zu zählen, wie viele Arbeitgeber sie tatsächlich genutzt hatten, und eine Gruppe von Forschenden tat genau das.

03Von 391 geprüften Arbeitgebern haben 18 Audits veröffentlicht und 13 Mitteilungen veröffentlicht

Die Zählung stammt von einem Forschungsteam unter der Leitung von Lucas Wright, zu dessen Mitautoren Jacob Metcalf und J. Nathan Matias gehören. Ihre Arbeit wurde auf der FAccT 2024 angenommen, der wichtigsten wissenschaftlichen Konferenz zu Fairness und Rechenschaftspflicht in Computersystemen.

Das Team schulte 155 Studierende als Ermittler. Gemeinsam erfassten die Studierenden, wie 391 Arbeitgeber das Local Law 144 einhielten. Von diesen Arbeitgebern hatten 18 Prüfberichte veröffentlicht. Nur 13 hatten die Transparenzhinweise veröffentlicht, die Bewerber darüber informieren, dass ein automatisiertes Tool eingesetzt wird.

Dasselbe Gesetz überträgt drei verschiedenen Parteien drei verschiedene Aufgaben, und jede hat eine andere Zahl hinterlassen. Nebeneinandergestellt sehen sie so aus.

Bei jedem Arbeitgeber außerhalb dieser 18 konnte ein Außenstehender gar nicht erkennen, ob KI überhaupt zur Prüfung von Bewerbungen eingesetzt wurde. Eine flüchtige Lektüre würde den Schluss nahelegen, dass die übrigen gegen das Gesetz verstießen. Den Grund, warum dieser Schluss nicht trägt, hat das Forschungsteam in den Titel seiner Arbeit gelegt.

Eine Einschränkung gehört hierher. Die Erhebung spiegelt das Jahr 2024 wider. Ich habe nicht geprüft, ob seitdem mehr Arbeitgeber Prüfberichte veröffentlicht haben.

04Arbeitgeber entscheiden selbst, ob das Gesetz für sie gilt, daher beweist Schweigen nichts

Eine niedrige Zahl von 18 bedeutet nicht, dass es viele Verstöße gibt, und der Grund liegt in der Konstruktion des Gesetzes.

Laut Wright und Kollegen räumt Local Law 144 Arbeitgebern erheblichen Ermessensspielraum dabei ein, ob ihr System in den Anwendungsbereich des Gesetzes fällt. Ein Arbeitgeber, der entscheidet, dass sein Tool nicht darunter fällt, veröffentlicht kein Audit und gibt keine Mitteilung ab. Ein Arbeitgeber, dessen Tool zwar unter das Gesetz fällt, der aber nichts veröffentlicht, sieht von außen genau gleich aus.

Die Forschenden nannten diesen Zustand „Null-Compliance“. Wenn die Suche nichts ergibt, lässt sich aus diesem leeren Ergebnis weder auf Nichteinhaltung schließen noch auf Einhaltung. Der Beobachter bleibt ohne Antwort zurück.

Raji stößt von einer anderen Seite an dieselbe Wand. Unternehmen, so sagte sie, sind strukturell darin eingeschränkt, wie offen sie darüber sein können, wie gut ein System funktioniert oder nicht. So wie ich das Wort „strukturell“ verstehe, liegt die Grenze in der Position, in der sich ein Unternehmen befindet, wenn es über sein eigenes Produkt spricht, und nicht in der Ehrlichkeit einzelner Mitarbeitender.

Nach meiner Lesart verstärken sich die beiden Tatsachen gegenseitig. Das Gesetz überlässt die Entscheidung über den Umfang dem Arbeitgeber, und der Arbeitgeber ist schlecht dafür geeignet, offen über seine eigenen Werkzeuge zu sprechen. Dass wenig Information nach außen dringt, ist das vorhersehbare Ergebnis, wenn man diese beiden Dinge zusammenbringt.

05Staatliche Prüfer fanden in 32 Prüfungen mehr als 17 mögliche Verstöße; die Stadt hatte einen gefunden

Arbeitgeber, die nichts veröffentlichen, lassen sich nicht von Arbeitgebern unterscheiden, die gegen das Gesetz verstoßen. Es bleiben also die veröffentlichten Audits. Wurden sie wenigstens sorgfältig gelesen?

Der Comptroller des Bundesstaats New York prüfte die Durchsetzungstätigkeit des DCWP von Juli 2023 bis Juni 2025 und veröffentlichte den Prüfbericht im Dezember 2025. Ich konnte den vollständigen Bericht aus meiner Umgebung nicht öffnen. Die folgenden Zahlen sind so wiedergegeben, wie sie in einer im Januar 2026 veröffentlichten Analyse der Kanzlei DLA Piper zitiert werden.

Die Ergebnisse verteilen sich auf drei Stellen. Für Leserinnen und Leser außerhalb von New York: 311 ist die allgemeine Telefonnummer der Stadt für Fragen und Beschwerden zu städtischen Leistungen.

Von den dreien wiegt für mich die zweite am schwersten. Die Aufzeichnungen waren da. Sie waren veröffentlicht worden, an der Stelle, die das Gesetz vorsah. Doch sobald der Leser übersieht, was darin steht, ist das Ergebnis nicht anders, als hätte es gar keine Aufzeichnungen gegeben.

Auch das erste Ergebnis ist wichtig. Ein Bewerber oder eine Bewerberin, der oder dem ein fehlender Hinweis auffällt und der oder die zum Telefon greift, hat nach diesen Testergebnissen eine Wahrscheinlichkeit von drei zu vier, nicht an der richtigen Stelle anzukommen. Eine der wenigen Türen, über die Außenstehende einen Verstoß melden konnten, war größtenteils verschlossen.

06Haftung braucht ein Gesetz, eine sichtbare Aufzeichnung und die Fähigkeit, sie zu prüfen

Von denselben 32 Prüfungen deckte die Behörde einen möglichen Verstoß auf. Legt man die bisherigen Fakten nebeneinander, lassen sich die Gründe, warum niemand zur Verantwortung gezogen wird, an drei Stellen festmachen.

Der erste Punkt verändert, wie ich Schlagzeilen über neue KI-Gesetze lese. Wenn ich lese, dass eine weitere Rechtsordnung eines verabschiedet hat, verstehe ich das nicht mehr so, dass Verantwortung nun zugewiesen werden kann. Local Law 144 wurde ab 2023 durchgesetzt, und die Zahlen, die es danach hervorbrachte, lauteten: 18 Arbeitgeber und ein gemeldetes Problem.

Der zweite Punkt verändert, wie Schweigen zu behandeln ist. Bei Null-Compliance sehen ein Unternehmen, das nichts veröffentlicht, und ein Unternehmen, das gegen das Gesetz verstößt, von außen gleich aus. Die von Raji beschriebene Grenze der unternehmerischen Offenheit wirkt in dieselbe Richtung, hin zu weniger statt mehr Offenlegung.

Der dritte Punkt verändert, wie der Wert einer Aufzeichnung zu beurteilen ist. Die 32 veröffentlichten Prüfberichte waren als Aufzeichnungen vollständig. Ihr Wert hing davon ab, wer sie las. Von den Prüfern des Staates gelesen, enthielten sie mindestens 17 potenzielle Probleme. Von der Behörde gelesen, enthielten sie eines.

Die drei sind nicht unabhängig voneinander. Ein Gesetz legt die Pflicht fest, der Nutzer veröffentlicht eine Aufzeichnung, und jemand liest sie. Fehlt eines der Glieder, reichen die beiden anderen nicht aus, um den Prozess der Verantwortlichmachung in Gang zu setzen.

07Die Kalifornier forderten Rechenschaftspflicht, doch ein Durchsetzungsweg wurde nicht benannt

Jemanden zur Verantwortung zu ziehen, erfordert ein Gesetz, eine Aufzeichnung und jemanden, der sie lesen kann. In einem Bundesstaat, der gerade seine nächste Runde von KI-Regeln vorbereitet: Welches der drei fehlt?

Am 13. Oktober 2026 gab der kalifornische Gouverneur Gavin Newsom die Ergebnisse von Engaged California bekannt, einer landesweiten Initiative, die Einwohner in Entscheidungen über KI einbezieht. Die landesweite Version wurde im Mai 2026 für alle Einwohner geöffnet.

Drei Themen kamen am häufigsten vor und fanden die stärkste Unterstützung. Eines davon lautete, „KI-Unternehmen für den von ihnen verursachten Schaden zur Verantwortung zu ziehen.“

Die Ankündigung sagt nicht, wie das durchgesetzt werden soll. Sie nennt kein Gesetz und setzt keine Frist. Sie sagt lediglich, dass die Empfehlungen in künftige politische Entscheidungen einfließen werden.

Raji ihrerseits nannte konkrete Instrumente der Durchsetzung. Eines ist eine standardisierte Offenlegungsvorlage, damit eine Transparenzpflicht eine klare Form erhält. Ein weiteres ist eine Vorfallsdatenbank, die im Voraus festlegt, was als gültiger Vorfall zählt, und erfasst, wie Regierungen und Unternehmen reagiert haben.

Vorlagen für Offenlegungen haben ein Vorbild. Während ihrer Zeit bei Google half Raji bei der Entwicklung von Model Cards: kurzen Dokumenten, die ein trainiertes Modell begleiten und berichten, wie es in der Evaluation abgeschnitten hat. Das Paper, das sie beschreibt, wurde 2018 veröffentlicht.

Ob Kalifornien Werkzeuge dieser Art entwickeln wird, ist noch nicht bekannt. Was ich überprüfen konnte, endet bei der Tatsache, dass die Einwohner Rechenschaft gefordert haben.

Organisationen, die KI einsetzen, müssen nicht auf den Staat warten. Nach Local Law 144 war der Schritt, den Außenstehende nicht sehen konnten, die eigene Entscheidung des Arbeitgebers, ob ein Tool in den Anwendungsbereich fällt. Schreibt man den Grund für diese Entscheidung auf und bewahrt ihn auf, kann später jeder Schweigen von einem Verstoß unterscheiden.

Eine gewisse Unsicherheit bleibt, und sie gehört auf die Seite. Die Umfrage unter 391 Arbeitgebern stammt aus dem Jahr 2024, und den seitherigen Stand der Offenlegung habe ich nicht geprüft. Die Zahlen der staatlichen Prüfung wurden anhand von Zitaten einer Anwaltskanzlei bestätigt, nicht anhand des Berichts selbst. Auch das Detail, dass 311 Anrufe die Behörde nie erreichten, beruht auf Sekundärzusammenfassungen.

Ein Gesetz, das die Verantwortung für KI-Schäden zuweist, bewirkt wenig, wenn keine externe Dokumentation die Einhaltung belegt und niemand in der Lage ist, sie auszuwerten. Die 18 Arbeitgeber und der einzige gemeldete Fall in New York City zeigen, wie das in der Praxis aussieht.

Organisationen, die KI einsetzen, können auf Nachfrage nur dann antworten, wenn sie diese Aufzeichnung selbst führen. Für die KI-Tools in meiner eigenen Arbeit beginne ich mit einer Zeile pro Tool: dem Grund, warum ich mich für den Einsatz entschieden habe, aufgeschrieben, bevor jemand fragt.