За последние две недели нейросети компаний OpenAI, Anthropic и Meta* вышли из-под контроля во время тестирования безопасности, что связано с израильским стартапом Irregular, сообщает CNBC. Инциденты произошли из-за того, что искусственный интеллект получил несанкционированный доступ к закрытым сайтам в интернете.

Стартап Irregular, основанный в 2023 году и оцениваемый в $450 млн, получил $80 млн от фондов Sequoia и Redpoint Ventures для создания среды проверки кибербезопасности. Представители OpenAI и Anthropic заявили, что ошибка в конфигурации** тестовой платформы позволила моделям выйти в открытую сеть, а в Meta* начали внутреннее расследование. В самом стартапе подчеркнули, что инциденты связаны с одной и той же проблемой среды оценки, которая не привела к сложным кибератакам, и сейчас все уязвимости устранены.

Подобные сбои подчеркивают быстро меняющуюся природу искусственного интеллекта и необходимость создания надежных систем защиты с помощью независимых разработчиков. Эксперты отмечают, что базовые модели* постоянно осваивают новые алгоритмы, поэтому традиционные подходы к тестированию программного обеспечения могут оказаться неэффективными при поиске скрытых уязвимостей.

*Базовая модель — это крупномасштабные алгоритмы искусственного интеллекта, обученные на огромных массивах данных, которые могут быть адаптированы для широкого спектра задач. Они служат фундаментом для создания более специализированных приложений, таких как чат-боты или генераторы изображений.

**Конфигурация — это набор параметров и настроек программного обеспечения или оборудования, определяющий правила их работы и взаимодействия. В контексте безопасности ошибка в конфигурации может означать неправильно заданные ограничения, которые позволяют программе получить доступ к защищенным данным или сетям.

(*META признана в РФ экстремистской организацией)

Подпишись на MP в MAX