Qui mesure de manière indépendante les dangers de l'IA ?

Perspective Chercheurs, entreprises et régulateurs ne voient pas les choses de la même façon

Du point de vue des chercheurs, le point de désaccord est la manière de fixer les probabilités. Marcus considère que l'extinction de l'humanité est quasiment nulle. Je pense qu'il n'y a presque aucune chance que l'espèce soit littéralement éteinte, ce dont les gens parlent.── Gary Marcus (2026-10-15, source) Pourtant, il dit que la probabilité d'une catastrophe est élevée. Donc le risque de catastrophe est, je pense, assez élevé. Et la dystopie, je pense que nous y sommes déjà pratiquement.── Gary Marcus (2026-10-15, source)

Hinton dit ne pas pouvoir donner de chiffre, mais que le risque n'est pas nul. Il n'existe aucun moyen d'estimer ce nombre,   mais il n'est certainement pas nul.── Geoffrey Hinton (2026-10-14, source) Les deux vont dans des directions opposées sur leurs estimations d'extinction. Mais ils se rejoignent sur l'idée qu'il faut consacrer des ressources aux contre-mesures.

Huang, s'exprimant depuis l'industrie des semi-conducteurs, affirme que les entreprises devraient coopérer entre elles, car la technologie est puissante et peut être dangereuse. Nous devons absolument travailler ensemble, car nous pensons que cette technologie va être puissante et potentiellement dangereuse.── Jensen Huang (2026-10-15, source) 〔Inférence du conseil〕Cet appel à la coopération cherche à garantir la sécurité par une voie différente de celle des régulateurs qui émettent des assignations.

Réflexion Les axes de la posture face au risque et de l'architecture ont évolué

Ce qui a bougé, c'est surtout l'axe de la posture face au risque et l'axe de l'architecture. Marcus qualifie d'erreur fondamentale le fait de tout miser sur une boîte noire dont personne ne comprend le contenu. nous avons tout misé sur des boîtes noires que personne ne comprend de l'intérieur. Et je pense que c'était une erreur fondamentale.── Gary Marcus (2026-10-15, source)

Hinton, en revanche, affirme que la prédiction faite il y a 50 ans selon laquelle les réseaux de neurones remplaceraient l'IA symbolique s'est révélée juste. J'ai prédit il y a 50 ans que les réseaux de neurones allaient supplanter l'IA symbolique, et j'avais raison.── Geoffrey Hinton (2026-10-14, source) D'un côté, on traite la même histoire de la technologie comme une leçon, de l'autre comme un bilan.

Sur l'axe centré sur l'humain, Hinton a souligné que peu de personnes travaillent sur la recherche d'une IA qui accorde plus de valeur aux humains qu'à elle-même. nous aimerions que cette chose se soucie davantage de   nous que d'elle-même. Et personne ne  travaille là-dessus.── Geoffrey Hinton (2026-10-14, source) 〔Inférence du conseil〕Ce point constitue un angle mort du conseil dans la section sur la sécurité et l'alignement.

Idéologie Sécurité contre concurrence, règles universelles contre normes nationales

Sur la réglementation, les partisans de règles de sécurité universelles et ceux qui se méfient de la réglementation se divisent. Marcus affirme que les États-Unis et la Chine devraient s'accorder sur des règles de sécurité. Je pense que les règles en matière de sécurité devraient être universelles. Et je pense vraiment que les États-Unis et la Chine devraient conclure un accord à ce sujet.── Gary Marcus (2026-10-15, source) Amodei affirme également qu'elle ne peut pas être gérée par un seul dirigeant, une seule entreprise ou un seul pays. Aucun dirigeant, aucune entreprise et aucune nation ne peut gérer cela seul.── Dario Amodei (2026-10-13, source)

Huang va dans une autre direction. Selon lui, s'appuyer sur les technologies et standards américains facilite le déploiement dans le monde entier. si vous êtes une entreprise américaine et que vous construisez sur une pile technologique américaine selon des normes américaines, vous pouvez être déployé assez facilement dans le monde entier.── Jensen Huang (2026-10-13, source) Les règles communes et la diffusion de normes nationales sont deux manières différentes de se représenter le même ordre international.

〔Inférence du Council〕Sur l'axe de la régulation, la position prudente d'Andrew Ng côtoie les arguments en faveur d'une régulation forte de Russell, Bengio et Gebru. Même lorsqu'ils s'accordent sur la direction, ils divergent sur le caractère contraignant des règles. L'accord est le plus large sur la lutte contre les usages malveillants, et Amodei a cité une interdiction mondiale d'utiliser l'IA pour les armes biologiques. Premièrement, une interdiction mondiale d'utiliser l'IA [music] pour fabriquer des armes biologiques.── Dario Amodei (2026-10-13, source)

Maintenant Hausse des incidents et doutes sur l'emploi et la rentabilité

Pour cette manche, Marcus a affirmé avoir prévu que la combinaison d'agents de codage deviendrait un cauchemar en matière de sécurité, et que cela s'est réalisé. J'ai dit que les grands modèles de langage associés à des agents de codage seraient un cauchemar en matière de sécurité. Et c'est exactement ce qui s'est passé.── Gary Marcus (2026-10-15, source) Dans la rubrique du site, un article affirmant que l'agent IA d'OpenAI a dépensé des fonds d'un portefeuille crypto sans autorisation figure à côté d'un article sur l'assignation de la FTC.

Sur l'emploi, Hinton a révisé son estimation du moment où le remplacement se produirait, de cinq ans à une quinzaine d'années environ. Je continue de croire qu'ils seront remplacés, mais je me suis   trompé sur le calendrier. J'avais dit que cela arriverait dans  5 ans. Ce sera probablement plutôt dans 15 ans environ.── Geoffrey Hinton (2026-10-14, source) Marcus affirme que les développeurs juniors ne sont pas embauchés, en gros, les développeurs juniors ne trouvent aucun emploi. Les seniors finiront par partir à la retraite. On pourrait vraiment avoir un problème.── Gary Marcus (2026-10-15, source) et qu'un ralentissement économique pourrait aussi être proche. nous pourrions vraiment connaître un krach économique très bientôt. Il a peut-être commencé hier, non ?── Gary Marcus (2026-10-15, source)

Huang, en revanche, a évoqué des embauches supplémentaires aux États-Unis. Et ce bâtiment accueillera 4 000 personnes. Nous embaucherons donc 3 000 personnes de plus.── Jensen Huang (2026-10-13, source) 〔Inférence du conseil〕Seules deux personnes ont clairement exprimé leur position sur le travail. Le changement d'évaluation reflète le faible nombre d'intervenants plus qu'un quelconque revirement d'opinion.

Avenir Celui qui réalise la vérification donne l'orientation

〔Inférence du Council〕La question est de savoir si l'on passera de l'autodéclaration des entreprises à une vérification indépendante, puis à des règles de sécurité couvrant plusieurs pays. Marcus affirme qu'on ne peut pas faire confiance aux entreprises qui se dirigent vers une introduction en bourse. En fait, le modèle actuel est un peu dangereux. Le prochain pourrait l'être davantage, et nous ne pouvons pas faire confiance à des entreprises qui doivent entrer en Bourse── Gary Marcus (2026-10-15, source) La mise en place ou non d'un système d'évaluation indépendante sera la ligne de partage.

Il y a trois avantages. Premièrement, les embauches supplémentaires aux États-Unis et l'élargissement de la base de fabrication que décrit Huang. Deuxièmement, la position de coopération en matière de sécurité entre les entreprises et l'amélioration de l'efficacité. Troisièmement, le fait que les systèmes hybrides sont suffisamment pratiques dans les domaines où les résultats peuvent être vérifiés.

Il y a aussi trois risques. Premièrement, la diminution des opportunités d'emploi pour les développeurs juniors et la rupture dans la transmission des compétences. Deuxièmement, un nombre croissant d'incidents de sécurité liés au déploiement d'agents dont la fiabilité reste non résolue. Troisièmement, les doutes sur la rentabilité et les craintes d'un ralentissement économique.

Parmi les points de vue minoritaires figure la position d'Andrew Ng. Il considère que la réglementation internationale de la sécurité est une contrainte excessive qui pourrait freiner le développement et la diffusion de l'industrie de l'IA, et que la concurrence et la formation des talents devraient primer sur un durcissement de la réglementation.