CBS: разработан новый метод высокоточного распознавания жестов

Ученые из Шанхайского университета Цзяо Тун разработали инновационный подход к распознаванию жестов. Их метод основывается на изображениях, которые формируются из накопленных импульсов мышечных сигналов. Работа опубликована в журнале Cyborg and Bionic Systems (CBS). Метод основывается на анализе сигналов высокоплотной поверхностной электромиографии (HD-sEMG), которая регистрирует электрическую активность мышц с высокой точностью. Исследователи декомпозировали сигналы на импульсные последовательности (cw-CST), отражающие активность мышц, и преобразовали эти данные в двумерные изображения, соответствующие пространственному расположению электродов на руке. Затем изображения анализировались с помощью специально разработанной нейросети, которая извлекала признаки для классификации жестов. В рамках экспериментов модель успешно распознавала 10 различных жестов с высокой точностью, обойдя существующие подходы по ключевым метрикам. "В отличие от традиционных методов на основе грубых признаков, наша модель позволяет учитывать пространственные особенности мышечной активности и более точно отображать управление движениями со стороны нервной системы", — отметил Ян Юй, ведущий автор исследования. Авторы подчеркивают, что разработка имеет широкий потенциал для применения: от управления протезами и реабилитации после травм до интерфейсов дополненной реальности. "Наш метод дает более точное представление о взаимодействии мозга и мышц и может лечь в основу новых поколений устройств", — добавил Ян Юй.