
El 14 de octubre de 2026, Stanford HAI presentó un perfil de Deb Raji, investigadora que estudia la rendición de cuentas de la IA, y Raji dijo que el sector había subestimado enormemente lo difícil que sería hacer cumplir las leyes por las que luchó. ¿Por qué las leyes de responsabilidad de la IA tan a menudo no dejan a nadie realmente obligado a rendir cuentas? Porque cuando nadie externo puede comprobar si se realizaron las auditorías y notificaciones exigidas, las infracciones permanecen invisibles y el proceso para exigir responsabilidades a alguien nunca comienza.
01Las leyes de IA se estancan en el punto donde los externos no pueden verificar el cumplimiento
Una ley que existe pero no puede hacerse cumplir deja un rastro de cifras, y el rastro más claro viene de una ciudad donde una ley de IA lleva ya un tiempo aplicándose. Empecemos por la propia Raji. Es conocida por sus auditorías de sistemas comerciales de reconocimiento facial, ayudó a crear las Model Cards mientras estaba en Google, y pasa este otoño en Stanford HAI como investigadora visitante antes de incorporarse al profesorado en el otoño de 2027.
En la entrevista, Raji describió la historia del campo por etapas. Alrededor de 2017, la conversación giraba por completo en torno a principios generales. Desde aproximadamente 2020 hasta 2023, llegaron propuestas legislativas serias. Tras ChatGPT, empezaron a aprobarse leyes, y uno de los ejemplos que nombró fue la Ley Local 144 de la ciudad de Nueva York.
Lo que viene después de la aprobación es la aplicación. «Creo que subestimamos gravemente el desafío de la aplicación», dijo Raji.
El historial de la Local Law 144 apunta en la misma dirección. En 2024, un equipo de investigadores revisó 391 empleadores y descubrió que solo 18 habían publicado la auditoría de sesgo que exige la ley. En 2025, el Contralor del Estado de Nueva York examinó cómo la agencia de la ciudad hacía cumplir la ley. La agencia había revisado 32 auditorías publicadas y señalado una posible infracción. Los auditores del estado leyeron esas mismas 32 auditorías y encontraron al menos 17.
Para ser claros, ninguna de estas cifras proviene de Raji. Provienen de investigadores académicos y de una auditoría estatal. Sin embargo, las dos fuentes coinciden en un mismo hecho: cuando el cumplimiento no se puede ver desde fuera, las infracciones no salen a la luz.
Para quien pone la IA a trabajar dentro de una organización, extraigo una conclusión práctica. No espere a ver qué leyes llegan. Lleve un registro de su propio uso de la IA que una persona externa pueda verificar. Cuando alguien le pida dar cuenta de una decisión, ese registro es lo único en lo que su respuesta puede apoyarse.
02Ley Local 144: las herramientas de contratación necesitan una auditoría de sesgos en el plazo de un año, hecha pública
Antes de interpretar 18 de 391 como un veredicto, conviene saber exactamente qué obligaciones tenían esos empleadores.
La Ley Local 144 es una ley de la ciudad de Nueva York que regula las herramientas automatizadas de decisión de empleo, el software que los empleadores usan para filtrar o clasificar a los candidatos. La aplicación corresponde al Departamento de Protección del Consumidor y del Trabajador de la ciudad, normalmente abreviado como DCWP. Las obligaciones recaen sobre el empleador y se presentan en un orden fijo.
La auditoría debe haberse realizado dentro del año anterior al uso de la herramienta. Un resumen de sus resultados debe publicarse en un lugar donde cualquiera pueda leerlo. Los candidatos y empleados deben recibir un aviso diez días hábiles antes de que se les aplique la herramienta. El DCWP comenzó a hacer cumplir la ley y sus normas el 5 de julio de 2023.
La cifra hace que un rasgo sea difícil de pasar por alto: la agencia está al final de la cadena. Auditar, publicar y notificar son cosas que el empleador hace por su cuenta. El DCWP solo puede intervenir después de enterarse de que falta uno de esos pasos.
Raji cuenta este tipo de auditoría de sesgos entre las herramientas prácticas de aplicación. Así que las herramientas existían sobre el papel. El siguiente paso obvio era contar cuántos empleadores las habían usado realmente, y un grupo de investigadores hizo exactamente eso.
03De 391 empleadores revisados, 18 publicaron auditorías y 13 publicaron avisos
El recuento provino de un equipo de investigación dirigido por Lucas Wright, con Jacob Metcalf y J. Nathan Matias entre los coautores. Su artículo fue aceptado en FAccT 2024, la principal conferencia académica sobre equidad y rendición de cuentas en sistemas informáticos.
El equipo formó a 155 estudiantes como investigadores. Juntos, los estudiantes registraron cómo 391 empleadores cumplían con la Ley Local 144. De esos empleadores, 18 habían publicado informes de auditoría. Solo 13 habían publicado los avisos de transparencia que informan a los candidatos de que se usa una herramienta automatizada.
La misma ley asigna a tres partes distintas tres tareas diferentes, y cada una dejó una cifra diferente. Colocadas una al lado de otra, se ven así.
| Punto de comparación | Empleadores | Agencia municipal (DCWP) | Contraloría del Estado |
|---|---|---|---|
| Lo que deciden | Si una herramienta queda sujeta a la ley | Investigación y sanción de infracciones | Auditoría de la aplicación de la normativa por parte de la agencia |
| Número de rezagados | 18 de 391 publicaron una auditoría | Una posible infracción en 32 auditorías | Al menos 17 en los mismos 32 |
| Invisible desde fuera | El motivo por el que se consideró que una herramienta quedaba fuera de alcance | Infracciones de empleadores que no publican nada | Quejas que nunca llegaron a la agencia |
En el caso de todos los empleadores ajenos a esos 18, una persona externa no podría saber si se estaba usando IA para filtrar solicitudes. Una lectura rápida concluiría que el resto estaba infringiendo la ley. El equipo de investigación puso en el título de su artículo la razón por la que esa conclusión falla.
Aquí corresponde un límite. La encuesta refleja 2024. No he comprobado si más empleadores han publicado auditorías desde entonces.
04Los empleadores deciden por sí mismos si la ley se aplica, así que el silencio no prueba nada
Un recuento bajo de 18 no significa un recuento alto de infracciones, y la razón está en el diseño de la ley.
Según Wright y sus colegas, la Local Law 144 otorga a los empleadores una amplia discrecionalidad para decidir si su sistema entra en el ámbito de aplicación de la ley. Un empleador que decide que su herramienta queda fuera del ámbito no publica ninguna auditoría ni da ningún aviso. Un empleador cuya herramienta sí está dentro del ámbito pero que no publica nada se ve exactamente igual desde la calle.
Los investigadores llamaron a esta condición cumplimiento nulo. Cuando la búsqueda no arroja nada, ese resultado vacío no puede decirse que indique incumplimiento. Tampoco puede decirse que indique cumplimiento. El observador se queda sin respuesta.
Raji toca el mismo muro desde otro lado. Las empresas, dijo, están limitadas estructuralmente en cuán sinceras pueden ser sobre si un sistema funciona bien o no. Tal como entiendo la palabra estructuralmente, el límite reside en la posición en la que se encuentra una empresa cuando habla de su propio producto, no en la honestidad de ningún empleado en particular.
A mi juicio, los dos hechos se agravan mutuamente. La ley deja la decisión sobre el alcance en manos del empleador, y el empleador está mal situado para hablar con franqueza de sus propias herramientas. Que llegue poca información al exterior es el resultado previsible de combinar ambas cosas.
05Los auditores estatales encontraron más de 17 posibles infracciones en 32 auditorías; la ciudad había encontrado una
No se puede distinguir a los empleadores que no publican nada de los que incumplen la ley. Quedan, entonces, las auditorías que sí se publicaron. ¿Se leyeron al menos con atención?
El Contralor del Estado de Nueva York revisó la actividad de cumplimiento del DCWP de julio de 2023 a junio de 2025 y publicó la auditoría en diciembre de 2025. No pude abrir el informe completo desde mi entorno. Las cifras siguientes se citan tal como aparecen en un análisis del bufete DLA Piper, publicado en enero de 2026.
Los hallazgos se dividen en tres puntos. Para los lectores fuera de Nueva York, el 311 es la línea telefónica general de la ciudad para preguntas y quejas sobre los servicios municipales.
La línea de quejas
El setenta y cinco por ciento de las llamadas de prueba al 311 sobre herramientas de contratación automatizada fueron enrutadas incorrectamente.
Leer las auditorías
Donde la agencia había señalado un problema en 32 auditorías, los auditores estatales encontraron al menos 17 posibles problemas.
La respuesta de la agencia
El Contralor calificó de ineficaz la aplicación actual de la normativa. El DCWP aceptó llevar a cabo la mayoría de las recomendaciones.
De los tres, el segundo es el que más peso tiene para mí. Los registros estaban ahí. Habían sido publicados, en el lugar que la ley indicaba. Pero cuando el lector pasa por alto lo que contienen, el resultado no es distinto de no tener registros en absoluto.
El primer hallazgo también importa. Un candidato que nota que falta un aviso y levanta el teléfono tiene, según estos resultados de las pruebas, tres posibilidades de cada cuatro de no llegar a la oficina correcta. Una de las pocas puertas por las que un externo podía denunciar una infracción estaba en su mayor parte cerrada.
06La responsabilidad requiere una ley, un registro visible y la capacidad de examinarlo
De esas mismas 32 auditorías, la agencia detectó una posible infracción. Si se ponen lado a lado los hechos hasta ahora, las razones por las que nadie asume la responsabilidad se reparten en tres lugares.
Las leyes solo establecen deberes
El número de leyes aprobadas dice poco sobre su cumplimiento. Raji dijo que el sector juzgó mal lo que ocurre después de la aprobación.
El usuario decide sobre la divulgación
El silencio no se puede distinguir de una infracción. Dieciocho de 391 no es un recuento de violaciones.
Capacidad de examinar
Un registro que nadie lee no hace responsable a nadie. Un solo caso frente a al menos 17 muestra la brecha.
El primer punto cambia la manera de leer los titulares sobre nuevas leyes de IA. Cuando veo un informe de que otra jurisdicción ha aprobado una, ya no lo tomo como señal de que ahora se puede asignar la responsabilidad. La Ley Local 144 comenzó a aplicarse en 2023, y las cifras que produjo después fueron 18 empleadores y un problema señalado.
El segundo punto cambia la forma en que debe tratarse el silencio. Bajo el cumplimiento nulo, una empresa que no publica nada y una empresa que infringe la ley se ven iguales desde fuera. El límite a la franqueza corporativa que describe Raji empuja en la misma dirección, hacia menos divulgación en lugar de más.
El tercer punto cambia cómo se juzga el valor de un registro. Las 32 auditorías publicadas estaban completas como registros. Su valor dependía de quién las leyera. Leídas por los auditores del estado, contenían al menos 17 posibles problemas. Leídas por la agencia, contenían uno.
Los tres no son independientes entre sí. Una ley establece el deber, el usuario publica un registro y alguien lo lee. Si falta cualquiera de los eslabones, los otros dos no bastan para iniciar el proceso de exigir responsabilidades a alguien.
07Los californianos pidieron rendición de cuentas, pero no se ha definido ninguna vía de aplicación
Para exigir responsabilidades a alguien hacen falta una ley, un registro y alguien capaz de leerlo. En un estado que ahora prepara su próxima ronda de normas sobre IA, ¿cuál de las tres falta?
El 13 de octubre de 2026, el gobernador de California, Gavin Newsom, anunció los resultados de Engaged California, un esfuerzo estatal para involucrar a los residentes en las decisiones sobre la IA. La versión estatal se abrió a todos los residentes en mayo de 2026.
Surgieron tres temas con mayor frecuencia y obtuvieron el apoyo más fuerte. Uno de ellos fue "hacer que las empresas de IA rindan cuentas por el daño que causan".
El anuncio no indica cómo se haría cumplir. No menciona ningún proyecto de ley ni fija ningún plazo. Dice solamente que las recomendaciones servirán de base para futuras decisiones de política.
Raji, por su parte, mencionó herramientas concretas de aplicación. Una es una plantilla estándar de divulgación, para que un requisito de transparencia tenga una forma definida. Otra es una base de datos de incidentes que define de antemano qué cuenta como un incidente válido y registra cómo respondieron los gobiernos y las empresas.
Las plantillas de divulgación tienen un precedente. Mientras estaba en Google, Raji ayudó a crear las Model Cards, documentos breves que acompañan a un modelo entrenado e informan de cómo se desempeñó en la evaluación. El artículo que las describe se publicó en 2018.
Aún no se sabe si California construirá herramientas de este tipo. Lo que pude verificar termina en el hecho de que los residentes pidieron rendición de cuentas.
Las organizaciones que usan IA no tienen que esperar al Estado. Bajo la Ley Local 144, el paso que los externos no podían ver era la propia decisión del empleador sobre si una herramienta estaba dentro del alcance. Si se deja por escrito el motivo de esa decisión y se conserva, más adelante cualquiera podrá distinguir el silencio de una infracción.
Persiste cierta incertidumbre, y le corresponde figurar en la página. La encuesta a 391 empleadores es de 2024, y no he comprobado cómo ha evolucionado la divulgación desde entonces. Las cifras de la auditoría estatal se confirmaron mediante las citas de un bufete de abogados, no en el informe mismo. El detalle de que 311 llamadas mal encaminadas nunca llegaron a la agencia también se apoya en resúmenes secundarios.
- La ciudad de Nueva York comenzó a aplicar la Ley Local 144 en julio de 2023, pero solo 18 de los 391 empleadores examinados en 2024 habían publicado auditorías. Una ley vigente no hace visible el cumplimiento.
- Como los empleadores deciden si la ley se aplica a ellos, la ausencia de divulgaciones no prueba nada. Los investigadores lo llaman incumplimiento nulo, y Raji señala que las empresas tienen límites estructurales en cuanto a su sinceridad.
- Donde la agencia municipal encontró una posible infracción en 32 auditorías, los auditores estatales encontraron al menos 17. Incluso los registros publicados no generan rendición de cuentas a menos que alguien pueda leerlos.
Una ley que asigna la responsabilidad por los daños de la IA logra poco cuando ningún registro externo muestra su cumplimiento y nadie tiene la capacidad de leerlo. Los 18 empleadores y el único problema señalado en la ciudad de Nueva York son el aspecto que eso tiene en la práctica.
Las organizaciones que usan IA pueden responder cuando se les pregunta solo si llevan ese registro ellas mismas. Para las herramientas de IA de mi propio trabajo, empiezo con una línea por herramienta: el motivo por el que decidí usarla, escrito antes de que nadie pregunte.
- Stanford HAI. ¿Quién es responsable cuando la IA causa daño? 2026-10-14. https://hai.stanford.edu/news/who-is-responsible-when-ai-causes-harm (Perfil de Deb Raji; el paso de los principios a la legislación y a su aplicación; "subestimó gravemente el desafío de la aplicación"; plantillas de divulgación y bases de datos de incidentes)
- Lucas Wright, Jacob Metcalf, J. Nathan Matias, et al. Incumplimiento nulo: la Ley Local 144 de Nueva York y los desafíos de la rendición de cuentas de los algoritmos. FAccT 2024 / arXiv:2406.01399. https://arxiv.org/abs/2406.01399 (155 estudiantes investigadores, 391 empleadores, 18 informes de auditoría, 13 avisos, cumplimiento nulo)
- DLA Piper. Una auditoría crítica de la ley de contratación con IA de Nueva York señala un mayor riesgo para los empleadores. 2026-01-30. https://www.dlapiper.com/en/insights/publications/2026/01/critical-audit-of-nyc-ai-hiring-law-signals-increased-risk-for-employers (Análisis de la auditoría del Contralor del Estado de Nueva York: 32 auditorías y un problema, al menos 17 posibles problemas, 75 por ciento de las 311 llamadas de prueba)
- Departamento de Protección al Consumidor y al Trabajador de la ciudad de Nueva York. Herramientas automatizadas de decisión de empleo (AEDT). https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page (Auditoría de sesgos en el plazo de un año, resultados públicos, aviso con diez días hábiles de antelación, aplicación a partir del 5 de julio de 2023)
- Oficina del gobernador Gavin Newsom. El gobernador Newsom anuncia los resultados del primer proyecto del país en California para involucrar a los californianos en las decisiones sobre la IA. 2026-10-13. https://www.gov.ca.gov/2026/10/13/governor-newsom-announces-results-from-californias-first-in-the-nation-project-to-involve-californians-in-decisions-about-ai/ (resultados de Engaged California; el tema de hacer responsables a las empresas de IA por los daños)
- Margaret Mitchell, Inioluwa Deborah Raji, Timnit Gebru, et al. Fichas de modelo para el reporte de modelos. arXiv:1810.03993, 2018. https://arxiv.org/abs/1810.03993 (Documentos breves que acompañan a los modelos entrenados y reportan los resultados de evaluación)
