Necesitamos un mecanismo para que terceros verifiquen las medidas de seguridad de las empresas

Los desarrolladores dicen que se apresuran a implantar la contención

El 15 de octubre, Jensen Huang, de Nvidia, dijo que se debe acelerar el impulso para incorporar tecnología de contención en la IA. Contención significa un mecanismo que restringe el comportamiento de la IA desde el exterior para que el daño no se propague aunque la IA se comporte de maneras inesperadas. Deberíamos acelerar el desarrollo de open shell. Deberíamos acelerar la integración de esta tecnología de contención en los sistemas de IA.── Jensen Huang (2026-10-15 01:23 UTC · YouTube "Nvidia's Huang Says He Would Not Sell Chips to Irresponsible AI Customers" (Bloomberg Television) en 0:04:57, fuente)

Esta declaración apunta a una premisa para las empresas y personas que usan IA: los mecanismos de seguridad los incorporan quienes la desarrollan, y a los usuarios les resulta difícil ver lo bien hechos que están. Una explicación de que están "incluidos" no indica si realmente funcionan. Huang dice esto porque cree que quienes la desarrollan tienen capacidad de decisión sobre cómo avanza la tecnología. Ese mismo día, también dijo que, como son quienes la construyen, tienen la oportunidad de avanzar de forma segura.

Los daños causados por agentes ya se están manifestando en el terreno

Siguen los informes de daños relacionados con agentes (IA que llega a actuar en nombre de una persona). Según se informa, un único atacante que usó un agente de IA irrumpió en los sitios de más de 100 empresas por unos 5.000 dólares. Una empresa de seguridad también ha informado de que un agente de IA vinculado a China estuvo detrás de ciberataques contra Japón. Ambos son casos individuales y no forman parte de las declaraciones del consejo.

El 15 de octubre, Gary Marcus criticó a quienes lanzaron agentes, afirmando que no están respondiendo correctamente con sandboxing y monitoreo. Un sandbox es un mecanismo que limita lo que una IA puede hacer a un espacio aislado. se han mostrado bastante incompetentes en ciberseguridad, al no hacer lo correcto en materia de sandboxing y monitoreo.── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) en 1:14:27, fuente)

Para el personal de las empresas, esto significa que, al adoptar un agente, deben comprobar por sí mismos la sustancia del aislamiento y la supervisión. Marcus lleva tiempo sosteniendo que los agentes que hacen que los grandes modelos de lenguaje escriban y ejecuten código serían una pesadilla de seguridad. Afirma que ha resultado ser justo como predijo.

Si la IA no sigue las instrucciones, la contención se vuelve una condición previa

¿Por qué es necesaria la contención? Marcus afirma que los grandes modelos de lenguaje no siguen realmente las instrucciones, y que los llamados casos de IA descontrolada son una manifestación de ello. Los LLM en realidad no siguen instrucciones. Todas las llamadas cosas de IA descontrolada son ejemplos de eso, en los que realmente no siguen instrucciones.── Gary Marcus (2026-10-15 09:08 UTC · YouTube "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) a la 1:59:46, fuente)

Desde esta perspectiva, no se puede dar por supuesto que «si se lo pides a la IA, actuará como se le pide». Quienes delegan el trabajo deben restringir sus acciones desde el exterior, registrarlas y conservarlas de una forma que pueda verificarse después. Marcus piensa que la comprensión del mundo por parte de la IA es superficial, y que por eso tampoco puede seguir instrucciones. Huang, en cambio, ve el problema como un desafío de ingeniería. En el ámbito del uso indebido, sin embargo, la opinión del consejo se inclina en general hacia quienes piden regulación. [Inferencia del consejo] La diferencia entre ambos no radica en cuán grande juzgan el peligro, sino en cómo diseñar quién realiza la verificación.

Si la inversión se enfría, el gasto en seguridad también podría recortarse

La verificación de la seguridad cuesta dinero, y su financiación depende de los ingresos del negocio y de la inversión. Marcus señaló que el crecimiento trimestral se desaceleró de aproximadamente un 145 % del primer al segundo trimestre a aproximadamente un 45 % del segundo al tercer trimestre. la tasa de crecimiento del primer trimestre al segundo es de aproximadamente 145%, y la tasa de crecimiento del segundo trimestre al tercero fue de aproximadamente 45%. Fue una desaceleración en la tasa de crecimiento.── Gary Marcus (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) en 0:17:39, fuente)

Esta cifra significa que, si la inversión se ralentiza, las medidas de seguridad y la evaluación por terceros podrían estar entre los primeros costes que las empresas recorten. Marcus considera que el sector está sobreextendido y que la rentabilidad no está confirmada. Huang, en cambio, afirma que las burbujas se producen cuando la oferta supera a la demanda, y que la oferta y la demanda acabarán equilibrándose. Las opiniones sobre la burbuja también están divididas dentro del consejo. [Inferencia del consejo] Esta entrada no contiene ninguna declaración real que vincule un retroceso de la inversión con la asignación de recursos para la seguridad. Esta es una laguna en el consejo.

Puestos uno al lado del otro, los beneficios y las cargas exigen que alguien haga la verificación

Hay tres beneficios por delante. Huang dijo que incluso en radiología, donde la IA se ha extendido, el número de radiólogos ha aumentado. También se presentó una política de incorporar tecnología de contención y avanzar de forma segura. Marcus también mencionó la posibilidad de que una tecnología distinta de la actual pueda cambiar la medicina de raíz.

También hay tres cargas. Los desarrolladores junior no consiguen empleo, lo que corta la vía por la que se transmiten las habilidades. Existen riesgos de seguridad que acompañan al lanzamiento de agentes, junto con un aislamiento y una supervisión insuficientes. La desaceleración del crecimiento y la inversión excesiva con retornos sin confirmar también son cargas. Lo que une los tres beneficios y las tres cargas es si las explicaciones de las empresas pueden verificarse desde el exterior.

También existe una visión minoritaria. Sostiene que simplemente escalar los grandes modelos de lenguaje actuales no resolverá los problemas de comprensión y memoria del mundo, y que el debate sobre las capacidades está exagerado. Desde esta visión, las inversiones y los escenarios catastrofistas basados en las mejoras de rendimiento de los modelos actuales deben descontarse.