¿Quién mide de forma independiente los peligros de la IA?

PerspectivaInvestigadores, empresas y reguladores lo ven de forma distinta

Desde la perspectiva de los investigadores, el punto de disputa es cómo establecer las probabilidades. Marcus considera que la extinción humana es prácticamente nula. Creo que hay casi cero posibilidades de extinguir literalmente a la especie, que es de lo que habla la gente.── Gary Marcus (2026-10-15, fuente)Sin embargo, afirma que la probabilidad de una catástrofe es alta. Así que la probabilidad de catástrofe, creo, es bastante alta. Y la distopía, creo que ya estamos básicamente en ella.── Gary Marcus (2026-10-15, fuente)

Hinton dice que no puede dar una cifra, pero que el riesgo no es cero. No hay forma de estimar ese número,   pero ciertamente no es cero.── Geoffrey Hinton (2026-10-14, fuente)Ambos apuntan en direcciones opuestas en sus estimaciones de extinción. Pero coinciden en que se deben dedicar recursos a las contramedidas.

Huang, hablando desde la industria de los semiconductores, dice que las empresas deberían cooperar entre sí porque la tecnología es poderosa y puede ser peligrosa. Absolutamente tenemos que trabajar unos con otros, y la razón es que creemos que esta tecnología va a ser poderosa y potencialmente peligrosa.── Jensen Huang (2026-10-15, fuente)〔Inferencia del Consejo〕Este llamado a la cooperación intenta garantizar la seguridad por una vía distinta a la de los reguladores que emiten citaciones.

PensamientoLos ejes de postura ante el riesgo y de arquitectura han cambiado

Lo que se movió fue sobre todo el eje de postura ante el riesgo y el eje de arquitectura. Marcus considera un error fundamental apostarlo todo a una caja negra cuyo contenido nadie entiende. lo que hemos apostado por completo son cajas negras que nadie entiende internamente. Y creo que eso fue un error fundamental.── Gary Marcus (2026-10-15, fuente)

Hinton, en cambio, dice que la predicción que hizo hace 50 años de que las redes neuronales sustituirían a la IA simbólica ha resultado correcta. Predije hace 50 años que las redes  neuronales iban a reemplazar a la IA simbólica,   y tenía razón.── Geoffrey Hinton (2026-10-14, fuente)Un lado trata la misma historia de la tecnología como una lección; el otro, como un historial de resultados.

En el eje centrado en el ser humano, Hinton señaló que pocas personas investigan una IA que valore a los humanos más que a sí misma. nos gustaría que esa cosa se preocupara más por   nosotros que por sí misma. Y la gente no está  trabajando en eso.── Geoffrey Hinton (2026-10-14, fuente)〔Inferencia del Consejo〕Este punto es un punto ciego del consejo en la sección de seguridad y alineamiento.

IdeologíaSeguridad frente a competencia, normas universales frente a estándares nacionales

En cuanto a la regulación, quienes quieren normas de seguridad universales y quienes recelan de la regulación se dividen. Marcus dice que EE. UU. y China deberían acordar normas de seguridad. Creo que las reglas sobre seguridad deberían ser universales. Y realmente creo que EE. UU. y China deberían llegar a un acuerdo al respecto.── Gary Marcus (2026-10-15, fuente)Amodei también afirma que no puede ser gestionada por un solo líder, empresa o país. Ningún líder, ninguna empresa y ninguna nación puede gestionar esto por sí sola.── Dario Amodei (2026-10-13, fuente)

Huang apunta en otra dirección. Su opinión es que construir sobre las pilas tecnológicas y los estándares de EE. UU. facilita el despliegue en todo el mundo. si eres una empresa estadounidense y construyes sobre una pila tecnológica estadounidense con estándares estadounidenses, eres bastante desplegable en todo el mundo.── Jensen Huang (2026-10-13, fuente)Las normas comunes y la difusión de estándares nacionales son dos formas distintas de imaginar el mismo orden internacional.

〔Inferencia del consejo〕En el eje de la regulación, la postura cautelosa de Andrew Ng se sitúa junto a los argumentos a favor de una regulación fuerte de Russell, Bengio y Gebru. Incluso cuando coinciden en la dirección, se dividen sobre cuán vinculantes deben ser las normas. El acuerdo es más amplio en cuanto a contrarrestar el uso indebido, y Amodei citó una prohibición global del uso de la IA para armas biológicas. Primero, una prohibición global del uso de la IA [music] para fabricar armas biológicas.── Dario Amodei (2026-10-13, fuente)

AhoraAumento de incidentes y dudas sobre el empleo y la rentabilidad

Como hecho de esta ronda, Marcus dijo que había previsto que combinar agentes de programación sería una pesadilla de seguridad, y que se hizo realidad. Dije que los grandes modelos de lenguaje más, eh, agentes de codificación iban a ser una pesadilla de seguridad. Y eso es exactamente lo que pasó.── Gary Marcus (2026-10-15, fuente)En la sección del sitio, una noticia según la cual el agente de IA de OpenAI gastó fondos de una cartera de criptomonedas sin permiso aparece junto a una noticia sobre la citación de la FTC.

En cuanto al trabajo, Hinton revisó su estimación de cuándo se produciría la sustitución: de cinco años a unos quince. Sigo creyendo que serán reemplazados, pero me equivoqué   con el momento. Dije que ocurriría en  5 años. Probablemente serán unos 15 años.── Geoffrey Hinton (2026-10-14, fuente)Marcus dice que no se está contratando a desarrolladores junior, básicamente los desarrolladores junior no están consiguiendo ningún empleo. Los senior eventualmente envejecerán y saldrán. En realidad podríamos estar en problemas.── Gary Marcus (2026-10-15, fuente)y que una recesión económica también podría estar cerca. en realidad podríamos tener una crisis económica muy pronto. Puede que empezara ayer, ¿no?── Gary Marcus (2026-10-15, fuente)

Huang, por su parte, mencionó contrataciones adicionales en EE. UU. Y ese edificio albergará a 4,000 personas. Así que contrataremos a otras 3,000 personas.── Jensen Huang (2026-10-13, fuente)〔Inferencia del Consejo〕Solo dos personas han dejado clara su postura sobre el empleo. El cambio en la valoración refleja lo pocos que hablaron más que cualquier cambio de opinión.

FuturoQuien realiza la verificación marca el rumbo

〔Inferencia del consejo〕La cuestión es si la dirección pasará de la autoinformación de las empresas a la verificación independiente y, después, a normas de seguridad que abarquen varios países. Marcus sostiene que no se puede confiar en las empresas que se encaminan hacia una OPI. En realidad, el actual es un poco peligroso. El próximo modelo podría ser más peligroso, y no podemos confiar en empresas que necesitan salir a bolsa── Gary Marcus (2026-10-15, fuente)Que llegue a formarse un sistema de evaluación independiente marcará la línea divisoria.

Hay tres beneficios. Primero, la contratación adicional en EE. UU. y la ampliación de la base manufacturera que describe Huang. Segundo, la postura de cooperación en seguridad entre empresas y la mejora de la eficiencia. Tercero, que los sistemas híbridos son lo bastante prácticos en ámbitos donde los resultados pueden verificarse.

También hay tres riesgos. Primero, menos oportunidades de empleo para desarrolladores junior y una ruptura en la transmisión de habilidades. Segundo, un número creciente de incidentes de seguridad vinculados al despliegue de agentes cuya fiabilidad sigue sin resolverse. Tercero, dudas sobre la rentabilidad y temores a una recesión económica.

Como visión minoritaria está la postura de Andrew Ng. Sostiene que la regulación internacional de la seguridad es una restricción excesiva que podría frenar el desarrollo y la difusión de la industria de la IA, y que la competencia y la formación de talento deberían tener prioridad sobre una regulación más estricta.