«Алиса» в смартфоне поможет незрячим ориентироваться в пространстве

«Яндекс» адаптировал Live-режим в приложении «Алиса AI» для незрячих и слабовидящих пользователей. Теперь нейросеть в реальном времени может описывать окружающую обстановку: подсказывать, где находится вход в магазин, что написано на дисплее стиральной машины или в каком состоянии полученная посылка.

«В "Яндексе" мы постоянно работаем над тем, чтобы передовые технологии были доступны для всех и меняли жизнь людей к лучшему. Камера смартфона, усиленная искусственным интеллектом, – это инструмент, благодаря которому незрячему человеку становится проще самостоятельно ориентироваться в пространстве и не зависеть от посторонней помощи в бытовых ситуациях», – рассказал менеджер проектов по цифровой доступности в «Яндексе» Анатолий Попко на молодежном фестивале Young Con.

Live-режим работает на основе мультимодальной нейросети Alice AI VLM. Она распознает объекты в объективе камеры и описывает их голосом. Пользователь может задавать уточняющие вопросы в ходе диалога. Функция доступна в мобильном приложении «Алиса AI» на Android и iOS. Запустить ее голосом пока могут только владельцы Android, но возможность появится и у пользователей iOS в ближайшее время. В Live-режиме «Алиса AI» помогает решать повседневные задачи: например, определить, есть ли повреждения на посылке, уточнить название лекарства или описать продукты в холодильнике и предложить, что из них приготовить.

В июне «Яндекс» внедрил в «Алису AI» функцию бронирования столиков в ресторанах и записи в салоны красоты через чат. Также в июне компания вывела на рынок наушники «Яндекс.Дропс» со встроенным ИИ-ассистентом, позволяющим общаться с нейросетью без смартфона. В начале июня «Алиса AI» заняла третье место в рейтинге популярности нейросетей в России, уступив ChatGPT и Claude.