Чисто символические риски: что таят в себе решения на базе ИИ

Генеративный искусственный интеллект может стать орудием в руках преступников и причиной судебных исков
Практически любая современная технология на основе генеративного ИИ требует человеческого контроля
Практически любая современная технология на основе генеративного ИИ требует человеческого контроля /iStock

Летом 2023 г. в Великобритании в особняке Блетчли-парк проводился саммит, посвященный безопасности решений в области искусственного интеллекта (ИИ). Локация была выбрана не случайно. В период Второй мировой войны в Блетчли-парке располагалось главное шифровальное подразделение Великобритании – Правительственная школа кодов и шифров, где работал, в частности, один из дедушек искусственного интеллекта, Алан Тьюринг.

Саммит попал в британские газеты, после того как в прессу просочились некоторые из обсуждаемых сценариев – например, что с помощью ИИ террористы смогут создать смертельный вирус или новый вид ядов. По итогам саммита была создана «декларация Блетчли» – первое в мире международное соглашение о соблюдении принципов прозрачности и безопасности в разработках в области ИИ.

Экзистенциальные риски для человечества, связанные с развитием ИИ, активно обсуждаются в США, Великобритании и других странах. В России участники Альянса в сфере ИИ (в числе членов – «Яндекс», «Сбер», MTS AI и т. д.) летом 2024 г. подписали декларацию об ответственной разработке и использовании сервисов на основе генеративного ИИ. Однако помимо глобальных рисков существуют менее масштабные, но намного более реальные угрозы для граждан и бизнеса.

В первую очередь, злоумышленники могут использовать ИИ для проведения кибератак. Они манипулируют инструментами ИИ для создания аудиодипфейков с имитацией голоса, создания поддельных удостоверений личности и фишинговых электронных писем с целью мошенничества.

Когнитивные искажения (bias) – фундаментальная проблема в развитии ИИ. К примеру, если попытаться научить ИИ угадывать предполагаемый профиль преступника, предложив ему изучить историю уже совершенных преступлений в конкретной местности, то алгоритм, скорее всего, будет в первую очередь указывать на людей определенной национальности. Чтобы избежать такого рода обвинений, многие компании принудительно «обучают» алгоритмы толерантности. К примеру, получив задание нарисовать семью викингов в Х в., нейросеть Midjourney генерировала картинку с людьми с разным цветом кожи. В результате пользователи начали создавать еще более оскорбительные и нетолерантные изображения, и алгоритм пришлось скорректировать. Такой же избыточной толерантностью страдала нейросеть Gemini от Google.

Озабоченность многих вызывает и ущерб, который ИИ наносит экологии. Обучение алгоритмов на больших массивах данных и запуск сложных моделей требуют огромного количества энергии, что приводит к увеличению выбросов углекислого газа. В американском Университете Корнелл подсчитали, что при обучении одной модели обработки естественного языка выделяется более 270 000 кг углекислого газа, что почти в 5 раз больше среднего уровня выбросов автомобиля за весь срок службы. Еще одной проблемой является потребление воды, которая используется для охлаждения серверов. То же исследование показало, что для обработки 10–50 запросов в модели GPT-3 требуется примерно пол-литра воды для охлаждения оборудования.

В ответе за тех, кого обучили

Ошибки алгоритмов сегодня становятся одним из ключевых бизнес-рисков, связанных с внедрением ИИ. К примеру, в апреле 2024 г. агентство AP обнаружило, что чат-бот с ИИ, созданный властями Нью-Йорка для юридической поддержки малого бизнеса, сообщал, что «работодатель имеет право уволить работника, который жалуется на сексуальные домогательства, не сообщает о беременности или отказывается отрезать свои дреды».

В начале 2024 г. крупнейший канадский авиаперевозчик Air Canada проиграл судебное разбирательство после того, как один из его чат-ботов солгал о политике, касающейся скидок для переживших смерть родственника семей. Чат-бот авиакомпании сообщил клиенту, что он может задним числом подать заявку на скидку на поездку на похороны, что противоречит политике Air Canada, согласно которой возврат средств за уже совершенные поездки невозможен. Защита перевозчика основывалась на утверждении, что компания не может нести ответственность за результаты, генерируемые ИИ, однако суд встал на сторону пассажира.

Еще одна серьезная проблема алгоритмов ИИ – неоригинальность текстов. «ChatGPT обречен на то, что не сможет генерировать инновационные результаты, как это делают люди, поскольку выходные обучающие данные ограничены. Более того, оригинальность, проявляемая ChatGPT в созданных им романах, драмах, статьях и других текстах, на самом деле является проявлением внутренних правил соответствующих типов обучающих данных», – говорится в статье группы ученых из Гайдунского технологического университета (Китай). Авторы также предполагают, что создатели оригинальных текстов, на которых обучаются алгоритмы ИИ, рано или поздно могут предъявить претензии к тем, кто так или иначе использует тексты, созданные алгоритмами. Летом 2023 г. американский сатирик Сара Сильверман и два других писателя подали в суд на OpenAI из-за нарушения авторских прав. По их мнению, компания должна была получить согласие на то, чтобы использовать авторские тексты при обучении ИИ, а она этого не сделала.

В феврале 2024 г. суд Калифорнии частично отклонил иск. В частности, отклонены самые жесткие обвинения в мошенничестве и незаконном обогащении, а также нарушении Digital Millennium Copyright Act (основной закон США, обеспечивающий соблюдение авторского права в цифровую эпоху).

Ложное всемогущество

Первое ограничение на пути развития более совершенных решений – стоимость вычислительного оборудования и электроэнергии. Уже сейчас очевидно, что развивать и поддерживать общий ИИ (универсальный алгоритм для решения различных задач без специализации) могут только крупнейшие мировые компании или целые государства. Для большинства даже крупных, коммерчески успешных компаний развитие общего генеративного ИИ становится коммерчески невыгодно, говорит разработчик продукта PIX BI компании PIX Robotics Сергей Полехин. «На конкретных негативных примерах стало очевидно, что сама идея всемогущества ИИ утопична, поскольку имитация человеческого мозга порождает и свойственные ему недостатки: ошибки и откровенные отклонения в рассуждениях и выводах», – говорит Полехин.

«ИИ создает для бизнеса риски, и они в первую очередь связаны с кибербезопасностью. Злоумышленники уже давно научились использовать ИИ для своих нужд», – рассуждает вице-президент по стратегии и инновациям МТС, гендиректор Future Crew Евгений Черешнев. Один из примеров – это имперсонация, когда хакеры с помощью генеративного ИИ сначала анализируют фото и видео жертвы, скажем – гендиректора компании, и его манеру общения, а затем создают его цифровую копию. Она вполне может подключиться к онлайн-совещанию и дать поручение срочно перевести средства компании на некий счет. Распознать подмену будет очень сложно, так как генеративный ИИ уже научился делать отличные цифровые копии людей, подчеркивает он.

Серьезным риском является и конфиденциальность. Когда бизнес использует генеративный ИИ чужого вендора, то разрешает ему анализировать и сохранять практически любые свои данные, даже конфиденциальные. «Владелец модели генеративного ИИ, которую использует компания, в конце концов будет знать о ней все: финансовые и производственные показатели, особенности устройства бизнес-процессов, персональные данные сотрудников», – рассуждает Черешнев.

«Тренировать и запускать модели – дорого и сложно. Поэтому выбор решения чужого вендора является частым вариантом. Но следует помнить о том, что если модель не ваша, то данные тоже не ваши», – отмечает технический руководитель департамента управления поверхностью атаки компании F.A.C.C.T. Николай Степанов.

Клиенты не могут точно знать, как именно OpenAI и другие крупные игроки обрабатывают данные. При передаче каких-либо чувствительных документов нужно четко понимать, что существует риск увидеть эти данные в открытом доступе. А если документы защищены гостайной, это также может грозить и уголовным преследованием, резюмирует Степанов.

Контроль и предсказуемость

Необходим строгий контроль за моделями ИИ, рассуждает директор по росту компании Platforma (входит в группу компаний «Ростелеком») Анна Кучина. Все этапы работы с ИИ должны включать анализ результатов его работы, а также четкое понимание того, как и почему ИИ принимает те или иные решения. Разрабатываемые и уже готовые алгоритмы необходимо всесторонне тестировать, чтобы выявить возможные ошибки и уязвимости.

Необходимо также проводить обучение персонала, продолжает Кучина. Все сотрудники, работающие с данными, особенно персональными, должны соблюдать внутренние регламенты компании, это позволяет влиять на процесс и при необходимости своевременно вмешаться, резюмирует Кучина.

По мнению эксперта центра информационной безопасности компании «Инфосистемы джет» Дмитрия Полторака, для защиты от ИИ-угроз следует скрывать информацию об архитектуре и параметрах моделей, контролировать показатели качества работы систем ИИ и изменения в конфигурациях. Также необходимо контролировать доступ к файлам, использующимся для создания нейросетевых моделей, обучающим и тестовым данным, перечисляет Полторак. Кроме того, существуют способы нарушить или исказить работу алгоритма при помощи специального вида запросов, поэтому необходимо анализировать входящие запросы к системам ИИ на наличие атак, добавляет эксперт.

«На данный момент я не слышал о каких-либо громких случаях в России, когда использование ИИ в бизнес-процессах компании стало причиной инцидента, связанного с кибербезопасностью. Но это скорее из-за слабого распространения таких решений на данный момент. В будущем картина, скорее всего, изменится, но я надеюсь, что большинство российских компаний будут начинать проекты по внедрению решений на базе ИИ с пониманием рисков, которые несут в себе ИИ-модели», – резюмировал Степанов.