Нейросеть обучили языку жестов

Нейросеть ученых Пермского государственного национального исследовательского университета (ПГНИУ) может распознать движение и даже жест человека в видеопотоке с камеры наблюдения и выполнить затем команду.

В ПГНИУ создание "словаря" жестов для роботов проводится в лаборатории социокогнитивной и компьютерной лингвистики. Исследователи здесь используют VR-шлемы и манипуляторы для погружения в виртуальные миры участников экспериментов. В арсенале ученых есть даже электроэнцефалограф - шапочка с проводами, с помощью которой считываются импульсы головного мозга человека, и нейросеть распознает эмоции.

Одна из целей цифровых лингвистов - научить антропоморфного робота двигаться подобно человеку, говорит профессор кафедры ПГНИУ Константин Белоусов. На это есть спрос в сфере обслуживания и в медицине. В частности, речь идет о разработке системы для реабилитации людей с заболеваниями опорно-двигательного аппарата. Также нейросеть сможет анализировать движения детей и распознавать отклонения от нормы, говорящие о недуге. Еще одна сфера применения результатов нового исследования - анимация.