Большинство дискуссий о безопасности искусственного интеллекта (ИИ) сосредоточены на самой модели ИИ и посвящены тому, можно ли её взломать, может ли она допустить утечку конфиденциальных данных, может ли злоумышленник манипулировать её запросом. Эти вопросы важны, но производственные системы ИИ всё чаще состоят из нескольких взаимосвязанных уровней и важным свойством безопасности является не только безопасность каждого компонента. Важно, может ли организация сохранить информацию о происхождении данных на протяжении всех преобразований между разными системами, т.е. сохранятся ли данные о том, откуда поступила информация, кто её предоставил, что модели ИИ было разрешено делать с этой информацией, какая политика регулировала следующий шаг и какое действие в конечном итоге произошло. Происхождение позволяет нижестоящим службам контроля ответить на вопрос, было ли заключение ИИ основано на авторитетных данных, пересекла ли конфиденциальная информация границы политики и оставался ли источник актуальным на момент принятия решения. В отчете NIST по кибербезопасности с использованием ИИ за 2026 год подчеркивается необходимость решения проблем, связанных с уязвимостями ИИ, при одновременной интеграции рисков ИИ в более широкое управление кибербезопасностью. Модель происхождения полезна, поскольку она связывает эти проблемы с доказательствами, которыми традиционные группы безопасности уже умеют управлять.
О важности отслеживания происхождения данных в ИИ системах рассказывает доцент кафедры искусственного интеллекта Финансового университета при Правительстве Российской Федерации Емельянова Наталия Юрьевна:
В агентных системах отслеживание происхождения данных становится еще более важным, поскольку результат одного вызова модели ИИ может создать такое состояние всей системы, которое повлияет на следующее. За этим изменением состояния должен следовать единый идентификатор задачи. В противном случае, по мере развития рабочего процесса, данные фрагментируются. Представьте себе агента, который составляет заявку в службу поддержки, извлекает записи о клиентах, обновляет запись в CRM, составляет электронное письмо и отправляет его. Запись в системе безопасности не должна состоять из нескольких несвязанных между собой журналов. Она должна сохранять единую цепочку выполнения, показывающую инициирующий запрос, источники данных, решения об авторизации, вызовы инструментов, подтверждения пользователей и результирующие изменения. Это позволяет отличать легитимную автоматизацию от автоматизации, подвергшейся манипуляциям.
Благодаря надежной системе отслеживания происхождения данных организации могут определить, какие результаты или действия зависели от скомпрометированного источника, уязвимого компонента или отозванного разрешения. Без нее масштабы последствий трудно рассчитать. Именно такая отслеживаемость делает возможным целенаправленное устранение последствий. Предприятиям необходимо внедрять надежные меры и системы информационной безопасности, обеспечивая соблюдение правил защиты данных для защиты конфиденциальной информации. Примером такой системы является разработанная на Факультете информационных технологий и анализа больших данных Финансового университета при Правительстве РФ интеллектуальная система проактивной защиты и обнаружения кибератак на объекты критической информационной инфраструктуры финансового сектора.
О сохранении причинно-следственных связей в рассуждениях ИИ при обеспечении безопасности рассказывает профессор кафедры искусственного интеллекта Финансового университета при Правительстве Российской Федерации Емельянов Виталий Александрович:
Системам искусственного интеллекта необходима отслеживаемость их рассуждений и действий. Цель состоит не в том, чтобы зафиксировать скрытые рассуждения модели ИИ. Архитектура безопасности не требует доступа к частной цепочке рассуждений, требуется наблюдаемая причинно-следственная связь внутри всей системы: безопасности, т.е. требуется увидеть какие данные поступили на вход, какие источники использовались, какая личность действовала, какие инструменты были доступны, какое решение было принято и что изменилось в результате. По мере того, как ИИ переходит от генерации контента к изменению бизнес-систем, происхождение данных становится одним из ключевых вопросов безопасности. Наиболее подготовленными к безопасному масштабированию ИИ будут те компании, которые смогут отслеживать, как доверие трансформируется от контекста к действию, и останавливать цепочку, когда одно звено больше не заслуживает доверия.