Испытательные лаборатории проверят духовность и нравственность ИИ
Но критерии соответствия для проверки моделей разработают Минцифры, ФСБ и ФСТЭК
Российские IT-компании с одобрения Минцифры смогут передать в независимую испытательную лабораторию проверку соответствия больших моделей искусственного интеллекта (ИИ) закону и традиционным духовно-нравственным ценностям. Об этом «Ведомостям» рассказали источники в одной из компаний – участников обсуждений, профильной IT-ассоциации и подтвердил собеседник в Минцифры. Соответствующие обсуждения проходили в конце июля – начале августа на площадке АНО «Цифровая экономика» в рамках готовящихся подзаконных актов к принятому закону об ИИ.
Минцифры РФ разработало базовые правила регулирования ИИ. Принятый 26 июля закон об ИИ вводит два специальных статуса для больших фундаментальных моделей: статус суверенной и статус национальной модели. Для получения любого из них модель должна подтвердить соответствие российскому законодательству и традиционным духовно-нравственным ценностям. Но закон носит рамочный характер, основные правила функционирования ИИ в России предстоит установить подзаконными актами.
Определить порядок подтверждения соответствия ИИ-моделей традиционным духовно-нравственным ценностям собирается правительство, рассказывал 7 июля в ходе первого чтения тогда еще обсуждаемого законопроекта в Госдуме статс-секретарь – заместитель министра цифрового развития Иван Лебедев. Участвовать в подготовке документов будут Минцифры, ФСБ и ФСТЭК, отвечающие в том числе за информационную и технологическую безопасность, говорил он. По его словам, первый проект архитектуры соответствующих норм уже подготовлен. Порядок оценки будет содержать критерии, позволяющие определить, соответствует ли модель духовно-нравственным ценностям и задачам технологического развития страны, говорил чиновник.
Прописывать духовно-нравственные ценности в отдельном акте не планируется, рассказал «Ведомостям» источник, участвующий в обсуждении подзаконного акта. Тем более что их перечень уже содержится в указе президента № 809. Вместо этого совместно с бизнесом будут разработаны специальные бенчмарки, с помощью которых российские большие фундаментальные модели будут тестировать на предмет соответствия закону и ценностям, сказал он. По словам собеседника, правкомиссия по цифровизации может создать испытательную лабораторию с подачи Минцифры.
Процедуру проверки соответствия ИИ духовно-нравственным ценностям могут прописать в акте правительства, продолжает источник, участвующий в обсуждении подзаконного акта. В испытательную лабораторию ИИ-разработчик должен будет подать заявление, приложить документы с описанием архитектуры, сведениями о разработчике, механизмах фильтрации и т. д. Далее лаборатория приступает к экспертизе – проверяет с помощью бенчмарков ответы модели, тестирует возможности обхода внутренних ограничений с помощью промпт-инъекций (метод взлома и манипуляции ИИ, когда вредоносная инструкция внедряется во входные данные. – «Ведомости»). После тестирования лаборатория направляет в правкомиссию заключение о соответствии или несоответствии ответов модели традиционным ценностям. Положительное заключение служит одним из этапов присвоения модели статуса национальной или суверенной, чтобы в дальнейшем получить право на меры господдержки – например, в госзакупках или при реализации особо значимых IT-проектов, подчеркнул он.
Общая обязательная проверка всех представленных на рынке ИИ-моделей не предусмотрена, следует из закона. Речь идет только о разработках, претендующих на статус суверенных или национальных, а вместе с ним на государственную поддержку, доступ к данным государственных информационных систем и возможность приоритетного использования в отдельных отраслях, поясняет собеседник в Минцифры. АНО «Цифровая экономика» назвала образование и предоставление государственных услуг первыми сферами для внедрения суверенных и национальных моделей ИИ, говорилось в релизе организации 7 августа.
Судебный «Триггер»
Российские IT-компании договорились, что экспертизу сможет проводить не одна назначенная организация, а несколько лабораторий, прошедших проверку у госоргана, указали источники в одной из компаний – участников обсуждений и собеседник в Минцифры. Требования к ним сейчас прорабатываются совместно с бизнесом. Предполагается, что разработчик сначала самостоятельно проверит модель по общей риск-ориентированной методике и представит результаты. Аккредитованная лаборатория оценит выводы разработчика и сможет выборочно проверить устойчивость модели, рассказал «Ведомостям» источник в Минцифры. Финальное решение о подтверждении соответствия и присвоении модели статуса национальной или суверенной останется за Минцифры, уточняет он. Соответствие ИИ критериям безопасности для госсистем будет проверять ФСБ и ФСТЭК с учетом корректировок действующих НПА, добавил собеседник.
У крупнейших российских разработчиков уже есть инструменты, которые ограничивают запрещенные запросы и обеспечивают соответствие ответов моделей законодательству, продолжает собеседник в Минцифры. Поэтому регулятор рассчитывает использовать накопленную рынком экспертизу, а не создавать всю систему тестирования с нуля, подчеркивает он.
Представитель Минцифры сообщил «Ведомостям», что пакет подзаконных актов еще проходит межведомственное согласование и дорабатывается с учетом предложений экспертов и бизнеса. Поэтому говорить об итоговой конструкции проверки пока преждевременно, подчеркнул он.
Жесткое государственное регулирование часто отстает от развития технологий, тогда как крупные IT-компании уже располагают необходимой экспертизой и инструментами контроля, считает руководитель направления ИИ холдинга Т1 Сергей Голицын. Продуктивность схемы будет зависеть от того, насколько четкими, измеримыми и прозрачными окажутся требования, добавляет он.
При этом бизнес вряд ли сможет самостоятельно договориться о содержательном толковании традиционных ценностей, предупреждает бизнес-архитектор проектов ИИ экосистемы «Авандок» Алексей Борщов. Их перечень включает такие категории, как гражданственность, справедливость и историческая память, которые невозможно напрямую перевести в технические задания для модели. Поэтому общий знаменатель может быть только процедурным: единый формат отчета, общий набор провокационных запросов, фиксация версии модели и параметров тестирования, а также возможность воспроизвести результат, говорит он.
На роль проверяющих может претендовать Институт системного программирования РАН, считает технический директор РТК-ЦОД Алексей Забродин. По его словам, институт обладает большим опытом работы со сложными программными продуктами. В России уже отработаны механизмы создания сертификационных центров и испытательных лабораторий в смежных сферах – от проверки средств защиты информации до подтверждения соответствия требованиям по защите персональных данных, говорит управляющий партнер «Астра ИИ Код» Владимир Нелюб. Существующие организации можно дополнительно аккредитовать для работы с ИИ при сохранении единой методологической базы, считает он.
Закон об ИИ уже установил, что порядок подтверждения соответствия моделей законодательству и традиционным ценностям определяет правительство, а критерии устанавливают ведомства, отмечает управляющий партнер адвокатского бюро «Пропозитум» Дмитрий Галанцев. Финальные критерии, рамки проверки и ответственность за их применение должны определяться государством, рассуждает директор Института исследований интернета Карен Казарян. То, что при разработке требований оно обращается к накопленной экспертизе бизнеса, научного сообщества и профильных специалистов, является нормальной практикой, считает он: «Особенно это важно в области ИИ, в которой изменения происходят стремительно, а большая часть компетенций сосредоточена у компаний-разработчиков».
Главный риск заключается в «оценочности» критериев методики, поскольку это может обернуться их «избирательным применением», считает Галанцев. Для минимизации этого фактора рабочей представляется схема оценки, которая включает в себя аккредитующую структуру, несколько конкурирующих лабораторий и апелляционную коллегию вне отрасли, говорит он.
Важно, чтобы при оценке четко проговаривалось, какие классы запросов проверяются, сколько тестов используется, какие ответы считаются допустимыми или недопустимыми, как учитывается неоднозначность, как проводится повторное тестирование после обновления модели и т. д., перечисляет эксперт центра ИИ «СКБ Контур» Дмитрий Иванков. Логичным представляется введение сроков действия сертификатов проверки и переаттестации моделей при обновлениях, а также формирование публичного реестра заключений независимых организаций, резюмирует Галанцев.