Инженеры и исследователи Института робототехнических систем НИУ ВШЭ провели первые испытания нейросетевой модели для распознавания среды непосредственно на роботе-собаке. Робот передвигался по зданию НИУ ВШЭ на Покровке, а также по Покровскому бульвару, анализируя окружающую обстановку и определяя, в какой сцене и локации он находится.
Работа над нейросетевой моделью и программным обеспечением ведется с апреля в партнерстве с компанией «ЭФКО».
Создатели называют эту систему классификатором сцен. Она получает изображения с камеры робота и определяет тип пространства, в котором он находится. В системе более 60 категорий: например, помещение, улица, двор, парк и другие типы локаций.
«Мы разработали и обучили нейросетевую модель, которая умеет анализировать и классифицировать изображение с камеры робота по более чем 50 типам локаций. До этого модель запускалась на обычном компьютере, а нынешнее испытание было необходимо для того, чтобы перенести программное обеспечение непосредственно на бортовое железо робота и проверить его работу в реальных условиях», — рассказывает Сергей Сластников, заместитель директора ИРС НИУ ВШЭ.
Одной из задач испытаний стала проверка того, насколько корректно модель работает непосредственно на роботе. Во время тестов специалисты перемещали робота по зданию и улице, собирали данные и фиксировали, какие характеристики окружающей среды распознает система. По итогам испытаний команда рассчитала метрики качества модели.
Итоговая метрика Micro F1 (сводная метрика качества, которая учитывает результаты классификации по всем классам и показывает общее качество работы модели, в том числе при разном количестве примеров для разных категорий. — Ред.) по всем задачам классификации — типа пространства, погоды, времени года и времени суток — составила 93,6%. Это означает, что при комплексной оценке модель продемонстрировала высокое качество распознавания окружающей среды в реальных условиях.
Отдельно команда оценивает вычислительные показатели, включая скорость работы модели на бортовом компьютере. Эти параметры важны для дальнейшего использования классификатора в системе адаптивного управления роботом.
Проведенные испытания стали очередным этапом разработки и первой проверкой переноса модели непосредственно на аппаратную платформу робота.
«Этот результат имеет принципиальное значение для наших текущих разработок в области робототехники — антропоморфных роботов-курьеров и робособак для городской доставки. Чтобы такие платформы могли безопасно и эффективно работать в городской среде, их программное обеспечение должно обеспечивать автономное позиционирование: робот должен понимать, где находится и что происходит вокруг, и на основе этого адаптировать свое поведение. Испытание классификатора сцен непосредственно на бортовом железе робота — это серьезный шаг к реальному применению автономных курьеров в городских условиях», — подчеркнул Андрей Блохин, директор по ИТ-инновациям ГК «ЭФКО».
«Данная модель — не конечная разработка, а промежуточный элемент более сложной системы адаптивного управления. В дальнейшем информация о сцене должна использоваться роботом для динамического изменения поведения в зависимости от окружающей обстановки. Например, при движении по улице зимой робот сможет учитывать наличие снега и изменять параметры своего движения, а при появлении плотной толпы — выбирать более осторожную манеру передвижения», — отметил Сергей Сластников.
Таким образом, задача проекта выходит за рамки простого распознавания изображений. Определение сцены должно стать основой для адаптивного управления поведением робота — скоростью, траекторией и параметрами движения, а в перспективе — и поведением системы в целом.