Аспирант МФТИ из Долгопрудного Сергей Линок совместно с коллегами из Центра когнитивного моделирования создал технологию, позволяющую роботу находить конкретные предметы в определенном месте по речевой команде человека. Разработка объединяет методы компьютерного зрения и обработки естественного языка.
Научная статья, посвященная этой технологии, и проморолик с демонстрацией возможностей робота направлены на крупную международную конференцию по робототехнике, что подтверждает уникальность исследования.
«Я пришел на стажировку в Центр когнитивного моделирования МФТИ в январе 2021 года сразу после окончания МГТИ имени Баумана. На Физтехе прошел путь от стажера до инженера и младшего научного сотрудника. Сейчас заканчиваю кандидатскую диссертацию. Тематика исследования мультимодальные карты для робототехнических агентов. Иначе говоря, пространственное ориентирование роботов для поиска и сортировки объектов», — рассказал собеседник.
Сергей Линок пояснил, что робот способен находить объекты, используя их пространственное расположение относительно других предметов. Например, он может отыскать стул, стоящий рядом со столом. Для этого робот анализирует взаимосвязи между объектами с помощью комплекса нейросетевых алгоритмов.
«Робот не найдет, например, игрушечного солдатика, потому что машинное обучение проводилось на характерных для офиса предметах. Зато я и соавтор моего исследования хотим сделать пространственное ориентирование роботов пространственно-временным. Иными словами, если предметы поменять местами, то робот будет помнить прежнюю расстановку и учтет изменения, — добавил Сергей.
В настоящее время технология адаптирована для роботизированной платформы с манипулятором, доступной в лаборатории. Однако ее можно применять и для гуманоидных роботов. Разработчик надеется, что его идеи будут реализованы в новых устройствах.
Ранее REGIONS сообщил, что команда МФТИ из Долгопрудного выиграла всероссийский турнир молодых физиков.
