Пока аккорды Pink Floyd «Another Brick in the Wall, Part 1» наполняли операционную, нейробиологи Медицинского центра Олбани старательно записывали активность электродов, помещенных в мозг пациентов, перенесших операцию по поводу эпилепсии.
Цель? Чтобы зафиксировать электрическую активность областей мозга , настроенных на атрибуты музыки — тон, ритм, гармонию и слова, — чтобы посмотреть, смогут ли они восстановить то, что слышал пациент.
Более десяти лет спустя, после подробного анализа данных 29 таких пациентов неврологами из Калифорнийского университета в Беркли, ответ однозначно положительный.
Фраза «В общем, это был просто кирпич в стене» узнаваемо звучит в реконструированной песне, ее ритмы нетронуты, а слова мутны, но разборчивы. Это первый случай, когда исследователи реконструировали узнаваемую песню из записей мозга.
Реконструкция показывает возможность записи и перевода мозговых волн для захвата музыкальных элементов речи, а также слогов. У людей эти музыкальные элементы, называемые просодией, — ритм, ударение, акцент и интонация — несут значение, которое не могут передать одни слова.
Поскольку эти записи внутричерепной электроэнцефалографии (иЭЭГ) могут быть сделаны только с поверхности мозга — как можно ближе к слуховым центрам — в ближайшее время никто не будет подслушивать песни в вашей голове.
Но для людей, у которых есть проблемы с общением, будь то из-за инсульта или паралича, такие записи с электродов на поверхности мозга могут помочь воспроизвести музыкальность речи, которая отсутствует в сегодняшних роботоподобных реконструкциях.
Первоначальная форма волны песни была преобразована в слуховую спектрограмму, состоящую только из величины, а затем преобразована обратно в форму волны. Авторы и права: Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Реконструированный фрагмент песни с использованием нелинейных моделей, подключенных ко всем 347 значимым электродам от всех 29 пациентов. Авторы и права: Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
«Это замечательный результат», — сказал Роберт Найт, невролог и профессор психологии Калифорнийского университета в Беркли в Институте неврологии Хелен Уиллс, который проводил исследование вместе с Людовиком Белье, докторантом.
«Одна из особенностей музыки, на мой взгляд, заключается в том, что она имеет просодию и эмоциональное содержание. По мере развития целой области интерфейсов мозг-машина это дает вам возможность добавлять музыкальность в будущие мозговые имплантаты для людей, которые в этом нуждаются, тех, у кого есть БАС или какое-то другое инвалидизирующее неврологическое или нарушение развития, нарушающее речевой вывод. Это дает вам возможность декодировать не только лингвистическое содержание, но и часть просодического содержания речи, некоторые аффекты. Я думаю, что это то, что мы действительно начали взламывать. код включен.»
По мере совершенствования методов записи мозга, когда-нибудь можно будет делать такие записи, не вскрывая мозг, возможно, с помощью чувствительных электродов, прикрепленных к коже головы. В настоящее время скальповая ЭЭГ может измерять активность мозга , чтобы обнаружить отдельную букву из потока букв, но этот подход занимает не менее 20 секунд, чтобы идентифицировать одну букву, что делает общение трудным и трудным, сказал Найт.
«Неинвазивные методы сегодня недостаточно точны. Будем надеяться, ради пациентов, что в будущем мы сможем с помощью электродов, размещенных снаружи на черепе, считывать активность из более глубоких областей мозга с хорошим качеством сигнала. Но мы далеки от этого. оттуда», — сказал Белье.
Чтение ваших мыслей? Еще нет
Интерфейсы мозг-машина, используемые сегодня, чтобы помочь людям общаться, когда они не могут говорить, могут декодировать слова, но производимые предложения имеют роботизированное качество, подобное тому, как звучал покойный Стивен Хокинг, когда он использовал устройство, генерирующее речь.
«Сейчас технология больше похожа на клавиатуру для ума», — сказал Белье. «Вы не можете читать свои мысли с клавиатуры. Вам нужно нажимать на кнопки. И это делает что-то вроде роботизированного голоса; наверняка меньше того, что я называю выразительной свободой».
Белье должен знать. Он играл музыку с детства — барабаны, классическую гитару, фортепиано и бас, в какой-то момент выступал в хэви-металлической группе. Когда Найт попросил его поработать над музыкальностью речи, Беллье сказал: «Спорим, я был взволнован, когда получил предложение».
В 2012 году Найт, научный сотрудник Брайан Пэсли и их коллеги первыми реконструировали слова, которые слышит человек, только по записям активности мозга.
Совсем недавно другие исследователи развили работу Найта гораздо дальше. Эдди Чанг, нейрохирург из Калифорнийского университета в Сан-Франциско и старший соавтор статьи 2012 года, записал сигналы от двигательной области мозга, связанные с движениями челюсти, губ и языка, чтобы восстановить речь парализованного пациента с отображаемыми словами . на экране компьютера .
В этой работе, о которой сообщалось в 2021 году, использовался искусственный интеллект для интерпретации записей мозга пациента, пытающегося произнести предложение на основе набора из 50 слов.
Хотя метод Чанга оказался успешным, новое исследование предполагает, что запись из слуховых областей мозга, где обрабатываются все аспекты звука, может фиксировать другие аспекты речи, важные для человеческого общения.
«Декодирование из слуховой коры, которая ближе к акустике звуков, в отличие от моторной коры, которая ближе к движениям, которые делаются для создания акустики речи, очень многообещающе», — добавил Белье. «Это придаст немного цвета тому, что расшифровано».
Для нового исследования Белье повторно проанализировал записи мозга, полученные в 2012 и 2013 годах, когда пациентам проигрывали примерно 3-минутный фрагмент песни Pink Floyd из альбома 1979 года The Wall. Он надеялся выйти за рамки предыдущих исследований, в которых проверялось, могут ли модели декодирования идентифицировать различные музыкальные произведения и жанры, и фактически реконструировать музыкальные фразы с помощью моделей декодирования на основе регрессии.
Белье подчеркнул, что исследование, в котором искусственный интеллект использовался для декодирования активности мозга, а затем для кодирования воспроизведения, не просто создало черный ящик для синтеза речи. Он и его коллеги также смогли определить новые области мозга, участвующие в обнаружении ритма, такие как игра на гитаре, и обнаружили, что некоторые участки слуховой коры — в верхней височной извилине, расположенной сразу за ухом и над ним — реагируют в начале голоса или синтезатора, в то время как другие области реагируют на устойчивый вокал.
Исследователи также подтвердили, что правое полушарие мозга лучше настроено на музыку, чем левое.
«Язык — это больше левое полушарие. Музыка более распределена, с уклоном в правое полушарие», — сказал Найт.
«Не было ясно, что то же самое будет с музыкальными стимулами», — сказал Белье. «Итак, здесь мы подтверждаем, что это не просто особенность речи, но это более фундаментально для слуховой системы и того, как она обрабатывает как речь, так и музыку».
Найт приступает к новым исследованиям, чтобы понять мозговые цепи, которые позволяют некоторым людям с афазией из-за инсульта или повреждения мозга общаться с помощью пения, когда они не могут иначе найти слова для самовыражения.
Теги: ИИ, музыка
