Портативный, неинвазивный, читающий мысли ИИ превращает мысли в текст.
Впервые в мире исследователи из Человеко-ориентированного центра искусственного интеллекта GrapheneX-UTS при Сиднейском технологическом университете (UTS) разработали портативную неинвазивную систему, которая может декодировать тихие мысли и превращать их в текст.
Эта технология может помочь людям, которые не могут говорить из-за болезни или травмы, включая инсульт или паралич, общаться. Это также может обеспечить беспрепятственную связь между людьми и машинами, например, работу бионической руки или робота.
Исследование было выбрано в качестве основного доклада на конференции NeurIPS , ежегодном собрании , на котором демонстрируются ведущие мировые исследования в области искусственного интеллекта и машинного обучения , проходившем в Новом Орлеане 12 декабря 2023 года.
Исследование возглавил заслуженный профессор CT Lin, директор Центра HAI GrapheneX-UTS, вместе с первым автором Ицюнем Дуанем и научным сотрудником, доктором философии. кандидат Цзиньчжоу Чжоу с факультета инженерии и информационных технологий UTS.
В исследовании участники молча читали отрывки текста, надевая кепку, которая записывала электрическую активность мозга через кожу головы с помощью электроэнцефалограммы (ЭЭГ).
Волна ЭЭГ сегментируется на отдельные блоки, которые улавливают определенные характеристики и закономерности человеческого мозга . Это делается с помощью модели искусственного интеллекта под названием DeWave, разработанной исследователями. DeWave переводит сигналы ЭЭГ в слова и предложения, обучаясь на больших объемах данных ЭЭГ.
«Это исследование представляет собой новаторскую попытку перевода необработанных волн ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в этой области», — сказал Лин.
«Это первая технология, которая включила методы дискретного кодирования в процесс перевода мозга в текст, представляя инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями также открывает новые горизонты в нейробиологии и искусственном интеллекте», — сказал он.
Предыдущая технология перевода сигналов мозга в язык требовала либо хирургического вмешательства по имплантации электродов в мозг, как, например, Neuralink Илона Маска, либо сканирования на аппарате МРТ, который большой, дорогой и трудный для использования в повседневной жизни.
Эти методы также с трудом преобразуют сигналы мозга в сегменты уровня слов без дополнительных средств, таких как отслеживание взгляда, которые ограничивают практическое применение этих систем. Новую технологию можно использовать как с отслеживанием взгляда, так и без него.
В исследовании UTS приняли участие 29 человек. Это означает, что она, вероятно, будет более надежной и адаптируемой, чем предыдущая технология декодирования, которая была протестирована только на одном или двух людях, поскольку волны ЭЭГ у разных людей различаются.
Использование сигналов ЭЭГ, полученных через шапку, а не от электродов, имплантированных в мозг, означает, что сигнал становится более шумным. Однако с точки зрения трансляции ЭЭГ исследование показало самые современные показатели, превосходящие предыдущие показатели.
«Модель лучше подходит для сопоставления глаголов, чем существительных. Однако, когда дело доходит до существительных, мы заметили тенденцию к использованию синонимических пар, а не точных переводов, таких как «человек» вместо «автор», — сказал Дуань.
«Мы думаем, что это происходит потому, что когда мозг обрабатывает эти слова, семантически похожие слова могут создавать схожие паттерны мозговых волн. Несмотря на трудности, наша модель дает значимые результаты, выравнивая ключевые слова и формируя схожие структуры предложений», — сказал он.
Показатель точности перевода на BLEU-1 в настоящее время составляет около 40%. Оценка BLEU — это число от нуля до единицы, которое измеряет сходство машинно переведенного текста с набором высококачественных справочных переводов. Исследователи надеются, что этот показатель улучшится до уровня, сравнимого с традиционными программами языкового перевода или распознавания речи, который приближается к 90%.
Исследование является продолжением предыдущей технологии интерфейса «мозг-компьютер», разработанной UTS совместно с Силами обороны Австралии, которая использует мозговые волны для управления четвероногим роботом.
Теги: ИИ, имплант, киборг, МРТ, Новости Hi-Tech
