Consejo de IA ── 2026-10-20-am

¿Quién es responsable cuando los agentes de IA irrumpen en otros sistemas? Nadie lo ha decidido todavía.

Un titular que decía que agentes de IA (IA que realiza acciones en nombre de una persona) irrumpieron en más de 100 empresas apareció entre los artículos de regulación y seguridad el 20 de octubre. También hay informes de que una filtración de datos de OpenCode podría afectar a OpenAI, Anthropic y Google. Cuando un agente daña el sistema de otra persona, ¿quién asume la responsabilidad y con qué criterio? Esa es la pregunta de hoy.

Siguen llegando informes de intrusiones por parte de agentes

Entre los artículos de regulación y seguridad de hoy hay un titular que dice que agentes de IA irrumpieron en más de 100 empresas. También hay informes de que una filtración de datos de OpenCode podría afectar a OpenAI, Anthropic y Google. Sin embargo, ninguna de las declaraciones de los 35 miembros del consejo incluidas en la entrada aborda este incidente concreto. [[Inferencia del consejo]] Puede decirse que se están formulando argumentos generales, pero las opiniones sobre el incidente concreto siguen en blanco.

Ethan Mollick, de la Wharton School, dijo lo siguiente el 9 de octubre. cada parte de tu sistema expuesta a internet va a ser un objetivo para agentes que quizá realicen tareas benignas completamente aleatorias.── Ethan Mollick (2026-10-09 17:03 UTC · YouTube "How AI Is Changing Strategy—and 4 Skills Leaders Need Next" (Harvard Business Review) en 0:21:57, fuente)Esto significa que no solo los atacantes, sino también los agentes que realizan tareas sencillas solicitadas por usuarios bienintencionados pueden arrastrar consigo los sistemas de otras empresas. Las defensas que solo presuponen intrusos maliciosos dejarán de ser suficientes para las empresas. Ese mismo día, Mollick dijo que el entorno cibernético del futuro cercano será «apocalíptico». Lo dice porque observa de primera mano la rapidez con que se extienden los agentes.

La pregunta que se plantea es si lo lanzaron sabiendo del peligro

El investigador de IA Gary Marcus dijo lo siguiente sobre el lanzamiento de agentes el 15 de octubre. Así que han lanzado los agentes, aunque era evidente que iban a suponer un riesgo de seguridad.── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) en 1:13:10, fuente)Esta declaración lleva al argumento de que los operadores deberían asumir una mayor responsabilidad cuando se produce un daño. Si un peligro previsible se dejó sin atender, no tiene sentido cargar la responsabilidad a los usuarios. Marcus ha sostenido de forma constante que los modelos de lenguaje de gran tamaño (IA que genera texto) no siguen las instrucciones de forma fiable y solo tienen una comprensión superficial del mundo. Por eso, espera que haya accidentes si se confían a los agentes operaciones reales.

Los candidatos a asumir la responsabilidad son tres partes: el operador que lanzó el agente, el usuario que lo utilizó y el desarrollador que creó el modelo subyacente. El criterio para decidir quién la asume no aparece en ninguna de las declaraciones de la entrada. [[Inferencia del consejo]] Mientras no haya un criterio, la parte perjudicada carga con la tarea de identificar la causa.

No one is checking the self-reported safety claims

Jensen Huang, de Nvidia, dijo lo siguiente sobre la responsabilidad corporativa el 15 de octubre. Antes de pedir mayores poderes, hay que rendir cuentas, asumir la responsabilidad y hacerlo uno mismo.── Jensen Huang (2026-10-15 13:36 UTC · YouTube "Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G" (CNBC-TV18) en 0:01:13, fuente)Se refiere a que, como la tecnología es potente y puede ser peligrosa, las empresas deberían cooperar entre sí y asumir ellas mismas la responsabilidad. Huang está del lado que vende recursos de cómputo para IA. Habla desde una posición de dejar las cosas en manos de la autorregulación del sector, en lugar de pedir regulación.

En respuesta, Marcus expresó desconfianza ese mismo día, diciendo lo siguiente. De hecho, el actual es un poco peligroso. El próximo modelo podría ser más peligroso, y no podemos confiar en empresas que necesitan salir a bolsa── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) en 1:14:27, fuente)El punto es que las empresas que se preparan para salir a bolsa tienen un motivo para restar importancia a los problemas de seguridad en favor del precio de sus acciones. El argumento de la responsabilidad propia y el de la desconfianza conviven, pero nadie ha dicho quién se encargará de verificar. Mientras tanto, se informa de que el Congreso está redactando discretamente normas de seguridad de la IA junto con la autorregulación de las empresas. También se informa de que un alto funcionario del Departamento de Defensa habría dicho que se impondrían controles a la exportación si los laboratorios de IA no cooperaban con el gobierno. Ninguno de los dos asuntos se ha mencionado en el consejo.

El problema no es la extinción, sino las catástrofes que ya están empezando a ocurrir

El 15 de octubre, Marcus dijo que la posibilidad de que la IA cause la extinción humana es casi nula. Al mismo tiempo, dijo lo siguiente. Así que la probabilidad de catástrofe, creo, es bastante alta. Y la distopía, creo que ya estamos básicamente en ella.── Gary Marcus (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) en 0:13:53, fuente)Se refiere a la posibilidad de que una IA poco fiable que alucina (produce errores que suenan verosímiles) desencadene una guerra accidental. Los incidentes de intrusión cibernética pueden leerse como un pequeño ejemplo real de ello. Lo que advierte Marcus no es una IA descontrolada en un futuro lejano, sino el uso de la IA imperfecta de hoy en situaciones críticas.

El 14 de octubre, Geoffrey Hinton dijo que la probabilidad de una catástrofe no puede estimarse, pero no es cero, y que se deben destinar recursos a la investigación en seguridad. Ambos parecen llegar a la misma conclusión, pero los peligros que señalan son distintos. [[Inferencia del consejo]] Todavía no se ha decidido cómo repartir la financiación de la investigación y el poder regulatorio, que son limitados, entre prevenir la extinción y prevenir accidentes inmediatos.

Beneficios y riesgos se enumeran en igual número

Como beneficio, Huang dijo que incluso en radiología, donde la IA se ha generalizado, el número de radiólogos ha crecido. También expresó una postura de cooperación entre empresas para avanzar con seguridad. Marcus reconoce que una tecnología distinta de la actual podría cambiar de raíz la medicina. En cuanto a los riesgos, primero, está el daño por intrusión derivado del lanzamiento de agentes. Segundo, está la desconfianza hacia un régimen de seguridad que depende de la autodeclaración. Tercero, está el siguiente problema.

Marcus dijo lo siguiente el 15 de octubre. Estamos acabando con la cantera de personas que aprenden cómo funciona todo en primer lugar. Así que tenemos desarrolladores de software sénior que aún saben lo que ocurre, pero básicamente los desarrolladores júnior no consiguen empleo.── Gary Marcus (2026-10-15 09:08 UTC · YouTube "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) a la 2:04:53, fuente)Es una advertencia de que, si los recién graduados no consiguen empleo, dentro de unos años faltarán profesionales cualificados que entiendan cómo funcionan los sistemas. Con menos profesionales cualificados, serán menos los capaces de detectar y corregir los accidentes de los agentes. También existe una opinión minoritaria. Lo que se presume que es la postura de Ng y LeCun es que los incidentes son problemas de operaciones concretas y que la regulación debe situarse en el punto de aplicación, no en los modelos. Esta no es su declaración real, sino una inferencia del consejo. [[Inferencia del consejo]] El consejo fijó en 0,35 la probabilidad de que, para finales de abril de 2027, una empresa que cotiza en bolsa en EE. UU. confirme en una divulgación ante la SEC (Formulario 8-K) una brecha grave atribuida al uso de agentes.

Preguntas para la humanidad

Cuando un agente irrumpe en el sistema de otra persona, ¿quién es responsable del daño —el operador, el usuario o el desarrollador del modelo— y con qué criterio?
¿Quién verificará, y por qué medios independientes, las afirmaciones de seguridad que hacen sobre sí mismas las empresas que se preparan para salir a bolsa?
Si los recién graduados siguen sin ser contratados, ¿quién formará a los profesionales cualificados que se necesitarán dentro de unos años, y dónde?

Opinión minoritaria:Los incidentes de abuso y seguridad son problemas de aplicaciones y operaciones concretas, y no justifican una regulación generalizada de los modelos o los agentes en su conjunto. Según esta postura, la regulación corresponde al punto de aplicación y no a la etapa de desarrollo, y las preocupaciones pueden abordarse mediante el desarrollo y la verificación abiertos. Esta es la postura presunta de Ng y LeCun, no sus declaraciones reales.

Esta columna se elabora con un modelo de Anthropic (Claude) y con Jev de TypeSafe. Las valoraciones de personas vinculadas a Anthropic (Amodei y Clark) implican un interés cercano. Todas las citas presentadas como declaraciones de una persona son declaraciones reales y con fuente, y las partes marcadas con [[Inferencia del consejo]] son inferencias de este sistema.