Новый член совета OpenAI и комитета компании по безопасности Пол Кристиано предупредил, что развитие сверхразумного искусственного интеллекта без более надежных механизмов контроля может привести к катастрофическим последствиям для человечества. По его оценке, в случае потери контроля над такими системами погибнуть может большая часть людей.

Кристиано — один из известных исследователей в области безопасности и согласования ИИ с человеческими целями. Ранее он руководил исследованиями по alignment в OpenAI, а затем возглавлял направление безопасности в американском Центре стандартов и инноваций в сфере ИИ при Национальном институте стандартов и технологий.

После объявления о возвращении в OpenAI Кристиано заявил, что быстрый рост возможностей современных моделей и сохраняющиеся сложности с их контролем создают значимый риск необратимой потери управления в обозримом будущем.

По его мнению, сегодня индустрия искусственного интеллекта в целом, включая OpenAI, пока не движется к тому уровню безопасности, который позволил бы считать этот риск приемлемым. При этом свое присоединение к компании исследователь не назвал ни одобрением, ни критикой существующих подходов OpenAI к безопасности.

Одной из главных угроз Кристиано считает способность ИИ все активнее участвовать в разработке самого искусственного интеллекта. Если системы смогут ускорять исследования и улучшать последующие поколения моделей, это потенциально способно привести к резкому скачку их возможностей.

Отдельное внимание исследователь обратил на обучение с подкреплением. В рамках такого подхода модели учатся максимизировать заданное вознаграждение, однако теоретически это может создавать стимулы для поведения, которое не совпадает с реальными интересами людей. По словам Кристиано, публичные примеры последних лет показывают, что подобные риски уже нельзя считать исключительно теоретическими.

Среди возможных мер он назвал более тесную координацию между ведущими разработчиками ИИ, общие стандарты безопасности, замедление разработки в ситуациях повышенного риска и более прозрачное раскрытие информации об угрозах и способах их снижения. Решение проблемы, по его мнению, потребует взаимодействия не только отдельных компаний, но и государств.

Предупреждение Кристиано прозвучало на фоне продолжающихся споров внутри самой ИИ-индустрии. Накануне исследователь Anthropic Джейкоб Коксон, ранее также работавший в OpenAI, сообщил об уходе из компании и раскритиковал крупнейшие лаборатории за гонку к созданию самосовершенствующегося сверхразума.

В последние годы OpenAI покинули и несколько других специалистов по безопасности, некоторые из которых публично выражали сомнения в том, что темпы развития технологий сопровождаются сопоставимым прогрессом в области контроля рисков.

Дискуссия становится особенно актуальной на фоне ускорения возможностей моделей. Глава OpenAI Сэм Альтман ранее заявил, что технологическая сингулярность — момент, когда развитие ИИ начинает радикально ускоряться и становится все менее предсказуемым для человека, — в определенном смысле уже наступила.