Ещё
Хронический тонзиллит: когда удалять миндалины
Хронический тонзиллит: когда удалять миндалины
Болезни и лекарства
Врачи назвали самые частые причины облысения мужчин
Врачи назвали самые частые причины облысения мужчин
Новости
Врачи объяснили, как снизить давление без таблеток
Врачи объяснили, как снизить давление без таблеток
Новости
Незаметные признаки того, что вам нужно к врачу
Незаметные признаки того, что вам нужно к врачу
ЗОЖ

Мозг рассказал о том, что он слышит 

В некоторых случаях, например, вследствие бокового амиотрофического склероза, от которого страдал , человек теряет дар речи. Для того, чтобы помочь пациентам хотя бы отчасти восстановить способность общаться с окружающими, можно использовать сигналы его слуховой коры. Когда мы говорим, наши нейроны работают в определенном порядке, и между паттерном их активности и звуками, которые мы издаем, есть явная связь. Это значит, что по этим паттернам можно определить, что человек намерен сказать.
Ученые использовали вокодер — старую технологию, которая умеет переводить электрические сигналы в человеческую речь. Раньше ее использовали для того, чтобы экономнее передавать сигналы речи по радио, а теперь в синтезаторах речи, например в Siri и  Assistant.
Авторы исследования объединили вокодер и нейросеть. Для эксперимента использовали пятерых подопытных, которые в то время проходили лечение от эпилепсии. Всем пятерым в слуховую кору головного мозга вживили электроды, которые считывали электроэнцефалограмму. Сигналы для обучения нейросети записывались в момент, когда четыре женщины читали пациентам рассказы в течение получаса. Затем пациенты прослушали двух других женщин, которые в течение 40 секунд произносили цифры от 0 до 9, а вокодер воспроизводил то, что слышали пациенты. Сигнал вокодер, чтобы повысить его четкость, также корректировала нейросеть, которая была обучена на речевом корпусе Wall Street Journal l, составленном в рамках программы и состоящем из из 80 часов речи.
Результат проверили на 11 добровольцах с нормальным слухом. Они слушали цифры, произнесенные через вокодер и оценивали качество звука по пятибалльной шкале.
В среднем, оценка составила 75% — контролерам удалось различить цифры и даже определить пол говорящего.
Авторы статьи отмечают, что снимали данные не с речевой, а со слуховой коры, то есть, озвучивали не то, что хотел сказать, а то что слышал пациент. Тем не менее, как пишут они в заключении, подход делает шаг к следующему поколению систем взаимодействия человека с компьютером и более естественным каналам связи для пациентов, страдающих от паралича.
Видео дня. Сколько бактерий живет на смартфоне
Комментарии
Читайте также
Новости партнеров
Больше видео