В новом исследовании «The State of AI in the Enterprise» международной консалтинговой компании Deloitte содержится предупреждение о том, что предприятия внедряют агентов искусственного интеллекта быстрее, чем успевают адаптироваться их протоколы безопасности и меры защиты. В связи с этим распространяются серьезные опасения по поводу безопасности, конфиденциальности данных и подотчетности. Согласно результатам исследования, внедрение агентных систем происходит настолько быстро, что традиционные методы контроля рисков, разработанные для операций, ориентированных на человека, с трудом справляются с требованиями безопасности. Несмотря на растущие темпы внедрения, лишь 21% организаций внедрили строгие механизмы управления или контроля за использованием ИИ-агентов. Хотя 23% компаний заявили, что в настоящее время используют ИИ-агентов, ожидается, что в ближайшие два года этот показатель вырастет до 74%. Доля предприятий, еще не внедривших эту технологию, по прогнозам, снизится с 25% до всего 5% за тот же период.

Как показывает отчет Deloitte, внедрение ИИ-агентов в ближайшие годы будет ускоряться, и преимущество над конкурентами получат только те компании, которые внедряют технологии, обеспечивая прозрачность и контроль, а не те, кто внедряет их быстрее всех.

О том, почему ИИ-агентам необходимы надежные механизмы защиты рассказывает доцент кафедры искусственного интеллекта Финансового университета при Правительстве Российской Федерации Емельянова Наталия Юрьевна:

Искусственный интеллект может хорошо себя показывать в контролируемых демонстрациях, но испытывает трудности в реальных бизнес-условиях, где системы могут быть фрагментированными, а данные — непоследовательными. Когда ИИ-агенту предоставляется слишком много контекста или возможностей одновременно, он становится склонен к галлюцинациям и непредсказуемому поведению. Ограничение доступа ИИ-агентов и выполняемых ими действий важно для обеспечения безопасности в реальных бизнес-средах. Для обеспечения работы агентов в рамках установленных ограничений важны прозрачность и мониторинг. Только тогда заинтересованные стороны смогут быть уверены в целесообразности внедрения технологии. Если каждое действие регистрируется и поддается управлению, команды смогут видеть, что произошло, выявлять проблемы и лучше понимать причины произошедших событий.

О формировании стратегии по безопасному управлению ИИ-агентами рассказывает профессор кафедры искусственного интеллекта Финансового университета при Правительстве Российской Федерации Емельянов Виталий Александрович:

Если ИИ-агенты действуют как самостоятельные сущности, их решения и действия легко могут стать непрозрачными. Без надежного управления ими становится трудно управлять, и практически невозможно застраховаться от ошибок. Стратегия по безопасному управлению ИИ-агентами должна устанавливать четкие границы для решений, которые могут принимать агентные системы. Например, они могут работать с многоуровневой автономностью, когда ИИ-агенты могут только просматривать информацию или предлагать варианты. Далее им может быть разрешено совершать ограниченные действия, но с одобрения человека. После того, как они докажут свою надежность в областях с низким уровнем риска, им может быть разрешено действовать автоматически. Таким образом, необходимо использовать многоуровневое управление и внедрять политики и планы обеспечения соответствия нормативным требованиям в организационные механизмы контроля.

Подготовка персонала посредством обучения — еще один аспект безопасного управления ИИ-агентами. Необходимо обучать сотрудников тому, чем они не должны делиться с системами ИИ, что делать, если агенты начинают действовать некорректно, и как распознавать необычное, потенциально опасное поведение. Если сотрудники не понимают, как работают системы ИИ и какие риски они несут, это может ослабить меры безопасности, пусть и непреднамеренно.

Надежное управление и контроль, наряду с общим уровнем осведомленности, имеют основополагающее значение для безопасного развертывания и эксплуатации агентов ИИ, обеспечивая безопасную, соответствующую требованиям и подотчетную работу в реальных условиях.