Кто независимо измеряет опасности ИИ?

Перспектива Исследователи, компании и регуляторы смотрят на это по-разному

С точки зрения исследователей, спорным остаётся вопрос о том, как задавать вероятности. Маркус считает вероятность вымирания человечества почти нулевой. Я считаю, что вероятность буквального уничтожения вида почти равна нулю, а именно об этом все говорят.── Гэри Маркус (2026-10-15, источник) Тем не менее он говорит, что вероятность катастрофы высока. Так что вероятность катастрофы, я думаю, довольно высока. А антиутопия, по-моему, у нас уже по сути наступила.── Гэри Маркус (2026-10-15, источник)

Хинтон говорит, что не может назвать цифру, но риск не равен нулю. Оценить это число невозможно,   но оно наверняка не равно нулю.── Джеффри Хинтон (2026-10-14, источник) Их оценки вероятности вымирания направлены в противоположные стороны. Но они близки во мнении, что ресурсы следует направить на меры противодействия.

Хуан, выступая от лица полупроводниковой отрасли, говорит, что компании должны сотрудничать друг с другом, потому что технология мощная и может быть опасной. Мы обязательно должны работать друг с другом, и причина в том, что, по нашему мнению, эта технология будет мощной и потенциально опасной.── Дженсен Хуанг (2026-10-15, источник) 〔Вывод Совета〕Этот призыв к сотрудничеству пытается обеспечить безопасность иным путём, нежели выдача регуляторами повесток в суд.

Мысль Сместились оси отношения к рискам и архитектуры

Сдвинулись главным образом ось отношения к риску и ось архитектуры. Маркус называет фундаментальной ошибкой ставку всего на чёрный ящик, содержимое которого никто не понимает. мы поставили всё на чёрные ящики, которые никто не понимает изнутри. И я думаю, это была фундаментальная ошибка.── Гэри Маркус (2026-10-15, источник)

Хинтон же, напротив, говорит, что предсказание, сделанное 50 лет назад, о том, что нейронные сети заменят символический ИИ, оказалось верным. Я предсказал 50 лет назад, что нейронные  сети вытеснят символический ИИ,   и я оказался прав.── Джеффри Хинтон (2026-10-14, источник) Одни видят в одной и той же истории технологии урок, другие — послужной список.

Что касается человекоцентричной оси, Хинтон отметил, что мало кто занимается исследованиями ИИ, который ценит людей больше, чем самого себя. мы хотели бы, чтобы эта штука заботилась о   нас больше, чем о самой себе. А люди над этим не  работают.── Джеффри Хинтон (2026-10-14, источник) 〔Вывод Совета〕Этот пункт является слепым пятном Совета в разделе о безопасности и согласовании ИИ.

Идеология Безопасность против конкуренции, универсальные правила против национальных стандартов

В вопросе регулирования мнения разделились: сторонники универсальных правил безопасности и те, кто относится к регулированию настороженно. Маркус считает, что США и Китаю следует договориться о правилах безопасности. Я считаю, что правила безопасности должны быть универсальными. И я действительно думаю, что США и Китаю следует договориться об этом.── Гэри Маркус (2026-10-15, источник)Амодеи также говорит, что ею не может управлять один лидер, одна компания или одна страна. Ни один лидер, ни одна компания и ни одно государство не могут справиться с этим в одиночку.── Дарио Амодеи (2026-10-13, источник)

Хуан указывает в другом направлении. По его мнению, опора на американские технологические стеки и стандарты облегчает развёртывание по всему миру. если вы американская компания и строите продукт на американском технологическом стеке по американским стандартам, вас вполне можно внедрять по всему миру.── Дженсен Хуанг (2026-10-13, источник) Общие правила и распространение национальных стандартов — два разных способа представить один и тот же международный порядок.

〔Вывод Council〕По оси регулирования осторожная позиция Эндрю Ына соседствует с решительными аргументами Расселла, Бенджио и Гебру в пользу жёсткого регулирования. Даже когда они согласны в направлении, они расходятся в том, насколько обязывающими должны быть правила. Наибольшее единодушие вызывает противодействие злоупотреблениям, и Амодеи привёл в пример глобальный запрет на использование ИИ для создания биологического оружия. Во-первых, глобальный запрет на использование [музыкального] ИИ для создания биологического оружия.── Дарио Амодеи (2026-10-13, источник)

Сейчас Рост числа инцидентов и сомнения в отношении занятости и рентабельности

В этом раунде, как установленный факт, Маркус заявил, что предвидел: объединение кодинг-агентов станет кошмаром для безопасности, и это сбылось. Я говорил, что большие языковые модели в сочетании с, э-э, агентами для написания кода станут кошмаром для безопасности. Именно так и случилось.── Гэри Маркус (2026-10-15, источник) В разделе сайта сообщение о том, что ИИ-агент OpenAI потратил средства из криптокошелька без разрешения, соседствует с сообщением о повестке FTC.

В вопросе труда Хинтон пересмотрел свою оценку сроков замещения: вместо пяти лет теперь около пятнадцати. Я по-прежнему считаю, что их заменят, но я   ошибся со сроками. Я говорил, что это произойдёт через  5 лет. Скорее всего, это займёт около 15 лет.── Джеффри Хинтон (2026-10-14, источник) Маркус говорит, что младших разработчиков не берут на работу, по сути, джуниор-разработчики не получают никакой работы. Сеньоры со временем уйдут на покой. У нас действительно могут быть проблемы.── Гэри Маркус (2026-10-15, источник) и что экономический спад тоже может быть близко. возможно, экономический крах действительно случится очень скоро. Может, он начался вчера?── Гэри Маркус (2026-10-15, источник)

Хуан же, напротив, упомянул дополнительный найм в США. И в этом здании будет работать 4000 человек. Так что мы наймём ещё 3000 человек.── Дженсен Хуанг (2026-10-13, источник) 〔Вывод Совета〕Чётко обозначили свою позицию по вопросу занятости лишь двое. Сдвиг в оценке отражает скорее то, как мало людей высказалось, чем какую-либо перемену мнений.

Будущее Кто проводит проверку, тот и задаёт направление

〔Вывод Council〕Вопрос в том, сместится ли курс от самоотчётности компаний к независимой проверке, а затем к правилам безопасности, действующим в разных странах. Маркус считает, что компаниям, идущим к IPO, доверять нельзя. На самом деле нынешняя модель немного опасна. Следующая может быть ещё опаснее, и мы не можем доверять компаниям, которым нужно выйти на IPO── Гэри Маркус (2026-10-15, источник) Водоразделом станет то, сложится ли система независимой оценки.

Есть три преимущества. Во-первых, дополнительный найм в США и расширение производственной базы, о которых говорит Хуанг. Во-вторых, позиция сотрудничества компаний в вопросах безопасности и повышение эффективности. В-третьих, то, что гибридные системы достаточно практичны в областях, где результаты можно проверить.

Есть и три риска. Во-первых, сокращение вакансий для младших разработчиков и разрыв в передаче навыков. Во-вторых, рост числа инцидентов безопасности, связанных с внедрением агентов, надёжность которых остаётся нерешённой проблемой. В-третьих, сомнения в прибыльности и опасения экономического спада.

Меньшинство придерживается позиции Эндрю Нга. Он считает, что международное регулирование безопасности — чрезмерное ограничение, которое может помешать развитию и распространению ИИ-индустрии, и что конкуренция и подготовка кадров должны иметь приоритет над более жёстким регулированием.