В настоящее время существует тренд на повышении производительности и эффективности бизнес-процессов компаний за счёт использования языковых моделей и ИИ-помощников. Однако те же функции, которые делают ИИ полезным, также расширяют поверхность кибератак для компаний.
В исследовании компании по кибербезопасности Tenable опубликован набор уязвимостей и атак под названием «HackedGPT», демонстрирующий, как непрямое внедрение ИИ-помощников может обеспечить кражу данных. Исследование Tenable показывает, какие ошибки могут превратить ИИ-помощников в угрозы безопасности. Например, косвенное внедрение подсказок скрывает инструкции в веб-контенте, который ИИ-помощник читает во время просмотра и инициирует доступ к данным, который пользователь не планировал. Еще одним направлением атаки согласно исследованию Tenable является использование фронтенд-запроса, содержащего вредоносные инструкции.
О проблеме расширения поверхности атак из-за использования ИИ-помощников рассказывает доцент кафедры искусственного интеллекта Финансового университета при Правительстве Российской Федерации Емельянова Наталия Юрьевна:
Влияние ИИ-помощников на бизнес очевидно и включает необходимость реагирования на инциденты с ними, проведения нормативно-правового анализа, а также принятия мер по снижению ущерба для репутации. Для устранения неотъемлемых рисков, связанных с работой ИИ-помощников, необходимы методы управления, контроля и эксплуатации, которые рассматривают ИИ как пользователя или устройство, в той мере, в какой эта технология должна подвергаться строгому аудиту и мониторингу. Уже существуют исследования, которые показывают, что помощники могут раскрывать личную или конфиденциальную информацию.
О том, как управлять ИИ-помощниками и какие меры предпринять для минимизации рисков рассказывает Коротеев Михаил Викторович, заведующий кафедрой искусственного интеллекта Финансового университета при Правительстве Российской Федерации:
Необходимо создать реестр систем искусственного интеллекта, используемых в компании, с описанием каждой используемой модели ИИ, каждого ИИ-помощника или ИИ-агента. В реестре должны быть указаны владельцы, цель, возможности (просмотр, API-коннекторы и др.) и домены данных, к которым осуществлялся доступ. Далее необходимо настроить политики управления идентификацией и доступом. ИИ-помощники, которые получают доступ к веб-сайтам или запускают инструменты и записывают данные, должны иметь отдельные идентификационные данные и подчиняться политикам нулевого доверия и наименьших привилегий. Сопоставление цепочек агентов (кто кого просил сделать, над какими данными и когда) — это минимальный набор данных, который может обеспечить определённую степень ответственности. Следует сделать так, чтобы просмотр и самостоятельные действия, выполняемые ИИ-помощниками, зависели от каждого варианта его использования. без такого реестра «теневые ИИ-агенты» могут существовать с привилегиями, которые никто не отслеживает.
Также необходимо организовать мониторинг действий ИИ-помощников, как любого интернет-приложения. Т.е. надо фиксировать действия ИИ-помощника и запуск инструментов в виде структурированных журналов. Обязательно надо настроить оповещение об аномалиях в работе ИИ-помощников (например, внезапные всплески просмотров незнакомых доменов; попытки суммировать непрозрачные блоки кода; необычные пакеты записи в память; или доступ к коннекторам за пределами границ политики). Обязательно необходимо отслеживать как управляются коннекторы и плагины, т.к. интеграция со сторонними продуктами имеет огромную историю проблем с безопасностью, поэтому рекомендуется применять минимальные привилегии для ИИ-помощников, а также использовать DLP-системы.
При принятии решения об использовании того или иного ИИ-помощника следует узнать, оперативно ли поставщики выпускают исправления и публикуют их, т.к. скорость появления новых функций означает появление новых проблем и уязвимостей.
Применение данных мер позволит значительно снизить риски при использовании ИИ-помощников.