Российские технологические компании начали разработку специализированных ИТ-систем для контроля за действиями автономных агентов* на базе искусственного интеллекта. Потребность в подобных решениях возникла на фоне перехода бизнеса от стандартных чат-ботов к сложным программам, которые способны самостоятельно выполнять многошаговые задачи и работать с корпоративными данными.

Крупнейшие игроки рынка, среди которых Яндекс, МТС и Сбер, создают программную инфраструктуру вокруг ИИ-моделей для управления памятью и доступом к информации. В компании Солар отмечают, что языковые модели** не всегда могут отличить данные от команд, поэтому контроль необходимо выносить за пределы самой нейросети. По оценкам экспертов организации, отечественный рынок защиты искусственного интеллекта в 2026 году может составить ₽1-2 млрд за счет продуктов и достигнуть ₽4 млрд с учетом сопутствующих услуг. В холдинге Т1 фиксируют трехкратный рост числа запросов бизнеса на механизмы контроля ИИ за последний год, при этом наибольший интерес проявляют банки, ретейл и государственный сектор.

Необходимость внедрения защитных систем обусловлена растущей автономностью искусственного интеллекта, которая ранее уже приводила к сбоям в работе зарубежных сервисов. В России подобных инцидентов пока не наблюдается, что связано с меньшей самостоятельностью отечественных решений по сравнению с передовыми иностранными аналогами, уступающими им в вычислительных возможностях.

*Автономный агент — это интеллектуальная программная система, способная самостоятельно воспринимать окружающую среду, принимать решения и выполнять действия для достижения поставленных целей без постоянного вмешательства человека. В отличие от простых чат-ботов, такие агенты могут планировать цепочки задач и использовать внешние инструменты для их реализации.

**Языковая модель — это тип алгоритмов машинного обучения, обученных на огромных массивах текстов для понимания и генерации человеческого языка. Они предсказывают следующее слово в последовательности, что позволяет им отвечать на вопросы, писать программный код и анализировать сложные документы, однако они могут быть уязвимы для манипуляций через текстовые команды.

Подпишись на MP в MAX