Минцифры планирует создать систему для выявления дипфейков

Минцифры займется созданием платформы для выявления дипфейков, созданных с помощью технологий искусственного интеллекта (ИИ), рассказал «Ведомостям» представитель министерства. Соответствующее поручение министерству дал премьер Михаил Мишустин по итогам прошедшей в конце декабря 2023 г. стратегической сессии, посвященной нацпроекту «Экономика данных».

«Обсуждается возможность создания единой платформы, которая будет выявлять недостоверную информацию, сгенерированную в том числе с помощью технологий ИИ, – пояснил представитель Минцифры. – Предложено предварительно провести научно-исследовательские работы по обозначенной тематике». Собеседник не уточнил, когда планируется запуск платформы и кто займется ее разработкой.

Сегодня выявление дипфейков строится на ручной работе криминалистов и специалистов по информационной безопасности при анализе конкретного видео. Они обращают внимание на муар (волнообразный узор, которого нет на объекте съемки и который возникает из-за наложения одного изображения на другое и расположения пикселей на матрице. – «Ведомости») вокруг изображений, дрожание, запаздывание речи, склейки, нарушение потоков аудиозаписи и особенности гистограмм.

IT-система могла бы выявлять в видео и изображениях неестественные изменения или аномалии, рассуждает заместитель директора Центра компетенций НТИ «Технологии доверенного взаимодействия» на базе ТУСУРа Руслан Пермяков. Но логичнее выявлять не внешние признаки дипфейка, а использование конкретной методики создания контента, потому как любой дипфейк изготавливается по определенной методике, которая прописывается в нейросети, отмечает руководитель департамента расследований T.Hunter, эксперт рынка НТИ SafeNet («Сейфнет») Игорь Бедеров. «То есть эффективнее было бы детектировать конкретную технологию. Это правильнее, поскольку дипфейк-технологии постоянно улучшаются», – добавил он.

«Одно из вероятных решений – поисковый робот (краулер), который будет сканировать видео, проверяя его уникальность и вероятность того, что оно сгенерировано. Но такой подход потребует большого количества вычислительных ресурсов», – отмечает генеральный директор VisionLabs Дмитрий Марков.

Инструмент, который планирует разрабатывать Минцифры, мог бы поставляться в виде плагина в браузере, который будет автоматически сканировать сайты на предмет ИИ-контента, предполагает менеджер продуктов в Just AI Алексей Борщов. «Вопрос интеграции в социальные сети или мессенджеры зависит от готовности их владельцев к внедрению подобного ИИ-регулирования», – отмечает он. Для мониторинга соцсетей, например Telegram, необходимо будет разрабатывать специальный софт либо получать разрешение и доступ к API той или иной соцсети, считает сооснователь компании Parodist AI Владимир Свешников.

Проблема выявления дипфейков стала особенно актуальна с начала 2024 г., так как выросло количество случаев использования аудиоподделок в мошеннической схеме fake boss («ложный начальник»). Речь идет о звонках мошенников с использованием подмены голоса. Об этом в начале февраля сообщал «Коммерсантъ» со ссылкой на данные компании F.A.C.C.T. (ранее Group IB), но не приводил ни количества случаев такого мошенничества, ни темпов роста. Злоумышленники создают фейковый аккаунт руководителя (как правило, в Telegram) с реальными ФИО и фото – с официального сайта, из соцсетей или «из огромного количества утечек персональных данных», уточняли в компании.

Единственным вариантом защиты от неправомерного использования дипфейков могут служить водяные знаки, которые должен устанавливать сам разработчик технологии, говорил в феврале «Ведомостям» ИИ-архитектор ГК «Самолет», эксперт Альянса искусственного интеллекта Андрей Комиссаров. Но самим сервисам такая маркировка невыгодна, если только она не станет обязательной, добавлял он.

Маркировка на некоторых ресурсах уже используется, отмечает руководитель департамента Digital Risk Protection компании F.A.C.C.T. Станислав Гончаров: «При загрузке видео на YouTube авторы уже должны маркировать ролики, сделанные с помощью ИИ. Созданные в сервисе Sora от OpenAI видео маркируются водяными знаками с отметкой, что ролик сгенерирован ИИ».

Но платформе, которая централизованно будет выявлять по всей сети видеодипфейки, сгенерированные с помощью ИИ, потребуется обрабатывать колоссальные объемы данных, подчеркивает он. Такие мощности может обеспечить только действительно крупный игрок российского телекома и IT-рынка либо новая специальная организация, которая будет владельцем разработки, считает Гончаров.

В России много компаний, которые специализируются на выявлении речевых дипфейк-технологий, отмечает Бедеров. Это, по его словам, НИИ «Квант», ЦРТ, «Ростелеком», а также ряд структур «Ростеха». Возможно также участие «Сбера» и «Яндекса», так как у них есть заделы для этого, добавил Пермяков.

Опрошенные «Ведомостями» эксперты сошлись во мнении, что в появлении такой платформы в первую очередь заинтересованы банки и другие финансовые институты, медиа, владельцы крупных Telegram-каналов и социальные сети. То есть те, кто работает с большим объемом данных, UGC-контентом и заинтересован в снижении количества дезинформации и уровня мошенничества, уточняет Марков.

Представитель «Ростеха» отметил, что госкорпорация считает данную задачу перспективной и готова оказать содействие. ​​Представитель Сбербанка рассказал, что в компании знают об этой инициативе и готовы вести переговоры об интеграции собственных решений в платформу Минцифры.

«Ведомости» направили запрос в НИИ «Квант» и ЦРТ. Представители «Яндекса» и «Ростелекома» отказались от комментариев.