Компьютерная программа преобразует сигналы мозга в синтетический голос

Изучение принципа доказательности вселяет надежду, что технологии могут дать голос парализованным людям, не способным говорить. Новая компьютерная программа переводит сигналы мозга на язык, в синтетический голос. Технология отслеживает электрические сообщения, передаваемые мышцам в области рта и вокруг него, чтобы расшифровать то, что мозг пытается сказать. Необходимы дальнейшие тесты, но разработчики говорят, что они могут быть использованы для разработки мозговых имплантатов, чтобы помочь людям, перенесшим инсульт или заболевание мозга, общаться.

Сигналы мозга

«Мы хотим создать технологии, которые могут воспроизводить речь непосредственно из деятельности человеческого мозга», - заявил на пресс-конференции Эдвард Чанг, нейрохирург из Университета Калифорнии в Сан-Франциско, который возглавлял исследование. «Это исследование является доказательством принципа, что это возможно». Техника очень инвазивна и опирается на электроды, расположенные глубоко в мозге. Как таковой, он был протестирован только на пяти человек с эпилепсией, которым были установлены электроды как часть их лечения. Эти люди могли - и делали - разговаривали во время тестов, и это позволяло компьютеру обрабатывать соответствующие сигналы мозга. Теперь ученые должны проверить, работает ли это у людей, которые не могут говорить. Вероятно, это будет сложнее, говорит Ник Рэмси, нейробиолог из университетского медицинского центра Утрехта в Нидерландах, который работает над имплантацией мозга, чтобы помочь людям с синдромом закрепощенности общаться, несмотря на широко распространенный паралич их мышц. «До сих пор остается открытым вопрос, сможете ли вы получить достаточно данных о мозгах от людей, которые не могут говорить, чтобы построить ваш декодер», но он говорит, что исследование «изящно и изощренно», и результаты показывают многообещающие результаты. «Я следил за их работой в течение нескольких лет, и они действительно понимают, что делают».

Компьютерный алгоритм

Речь - одно из самых сложных двигательных действий в организме человека. Требуется точный нервный контроль и координация мышц на губах, языке, челюсти и гортани. Чтобы расшифровать эту деятельность, ученые использовали имплантированные электроды для отслеживания сигналов, посылаемых мозгом, когда добровольцы читали вслух ряд предложений. Компьютерный алгоритм проанализировал эти инструкции, используя уже существующую модель того, как синтетический голосовой тракт движется, чтобы издавать звуки. Второй этап обработки затем преобразует эти предсказанные движения в устные предложения. Этот двухэтапный подход - преобразование мозговой активности в двигательные движения, а затем двигательные движения в слова - производит меньше искажений, чем попытка напрямую преобразовать сигналы мозга в речь, говорит Чанг. Когда команда сыграла 101 синтезированное предложение для слушателей и попросила их идентифицировать произнесенные слова из списка из 25 слов, они расшифровали 43 процента из них точно.