Как собака, но точнее: роботы научились искать предметы по неоднозначным командам

Исследователи из Университета Брауна создали систему, позволяющую роботам понимать неоднозначные человеческие указания и находить нужный предмет в захламленном помещении с точностью 89%. Разработка объединяет язык, жесты и направление взгляда в единую вероятностную модель, сообщается в работе ученых, передает Gismeteo.

В основе системы лежит частично наблюдаемый марковский процесс принятия решений. Вместо того чтобы исходить из предположения, что робот точно знает ответ, алгоритм постоянно обновляет «убеждение» о вероятном местонахождении объекта и выбирает действия, снижающие неопределенность. Например, машина может подойти ближе или изменить угол обзора, чтобы рассмотреть предмет с другого ракурса.

Ключевая инновация, как отмечают разработчики, — перевод жеста в конус вероятности, а не в точное направление. Вдохновением для этого решения послужила лаборатория Brown Dog Lab, где изучают, как собаки интерпретируют указания людей. Животные воспринимают жест как указание на область, а не на конкретную точку. Направление взгляда человека уточняет этот конус. Языковой запрос и визуальная информация обрабатываются одновременно мультимодальной языковой моделью (VLM), после чего все данные объединяются в единую систему принятия решений.

В ходе тестирования с четвероногим роботом в пространстве, заполненном различными предметами, новая система значительно превзошла методы, использующие только язык или только жесты. Ученые полагают, что разработка приближает появление домашних роботов-помощников, с которыми можно будет общаться так же естественно, как с собакой или другим человеком.