Лаборатория языковой конвергенции НИУ ВШЭ — Санкт-Петербург и Центр технологий для общества Yandex Cloud разработали чат-бота, который повышает вовлеченность посетителей крупных музеев. Как устроен цифровой помощник, что лежит в основе его алгоритмов и зачем культурным институциям искусственный интеллект — читайте в нашем материале.

Чат-бот помогает искать картины, даже если пользователь не помнит точное название, автора или эпоху создания. Для этого достаточно описать произведение в свободной форме: например, «женщина смотрит в небо с рукой у груди». В ответ ИИ-помощник выдает варианты, подходящие под этот образ. Посетитель получает подробную информацию о произведении, а также номер зала музейной экспозиции, где расположена работа.

В основе функции лежит технология векторного поиска Managed Service for OpenSearch платформы Yandex Cloud. Благодаря ей бот подбирает под запрос пользователя текстовое сопровождение картины из особой базы данных. В наполнении хранилища участвовали волонтеры проекта и технологии искусственного интеллекта Yandex Cloud: они параллельно создавали аннотации к сотням произведений из Цифровой коллекции Эрмитажа. Авторы датасета, руководитель проектной группы, заведующий Лабораторией языковой конвергенции Анастасия Колмогорова и стажер-исследователь Полина Налобина, получили свидетельство интеллектуальной собственности на собранный массив данных, сейчас его используют для изучения специфики текстовой генерации и другие исследователи.

Разработчики сервиса, специалисты Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург и выпускники магистерской программы «Языковые технологии в бизнесе и образовании», расширили функционал бота. Героем цифрового помощника стал кот по кличке Эрсик.

«Теперь его персонаж и хранитель коллекции Эрсик, помимо нахождения произведений живописи, умеет отвечать на вопросы о посещении музея», — подчеркивают лингвисты-разработчики Влада Погожельская и Мария Сергеева.

Чтобы ответы бота соответствовали образу его героя, компьютерные лингвисты НИУ ВШЭ — Санкт-Петербург протестировали модели на базе Yandex AI Studio и методы их дообучения. Кот Эрсик научился общаться в стиле сотрудника музея, мурлыкать и точно отвечать на вопросы.

«Мы собрали базу данных из официальной документации, исторической справки, отзывов на маршруты и текстов обращений пользователей в контакт-центр музея. Затем подключили к модели цифрового ассистента, подгрузили датасет и настроили поиск при помощи дополненной генерации. Это значит, что чат-бот научился формулировать ответы на основе конкретной выборки проверенной информации, а не из всей доступной в сети», — рассказывает участница проектной группы Елизавета Сытикова.

Теперь взаимодействие с музеем станет удобнее как при подготовке к визиту, так и непосредственно во время посещения экспозиций.

«Апробированные в проекте технологические решения могут широко применяться в музеях Санкт-Петербурга и других городов. С их помощью можно сделать выставочное пространство цифровым и креативным. Каждый посетитель получает возможность сформировать персональную связь с произведениями искусства, соединив их с личной памятью и опытом», — отметила Анастасия Колмогорова.

Чат-бот создан специалистами НИУ ВШЭ — Санкт-Петербург и реализован при грантовой и экспертной поддержке Центра технологий для общества Yandex Cloud.