Brain2Qwerty v2: ИИ, который считывает мысли и превращает их в текст

Компания Meta* представила новую версию своей системы Brain2Qwerty v2 — интерфейса «мозг-компьютер», способного преобразовывать активность мозга в текст без хирургического вмешательства.

В отличие от инвазивных систем, таких как Neuralink, требующих имплантации электродов в мозг, Brain2Qwerty v2 использует магнитоэнцефалографию (МЭГ) — метод, позволяющий регистрировать магнитные поля, возникающие при нейронной активности. Человек надевает шлем-сканер, который улавливает эти сигналы, а специальная ИИ-модель расшифровывает их и преобразует в текст.

В основе системы лежит сквозная архитектура глубокого обучения, состоящая из трёх ключевых компонентов:

Conformer — кодировщик, преобразующий сырые сигналы МЭГ в промежуточные представления.

Aligner — контрастный выравниватель на уровне слов, который синхронизирует нейронные паттерны с конкретными символами.

Большая языковая модель (LLM) — дообученная на нейронных данных, она использует контекст для «дополнения», подобно тому, как смартфон предсказывает следующее слово.

Модель обучалась на данных 9 добровольцев, которые в течение примерно 10 часов набирали текст в МЭГ-сканере. Общий объём обучающей выборки составил 22 000 предложений — этого оказалось достаточно, чтобы достичь впечатляющих результатов.

Средняя точность распознавания слов достигла 61% — это значительный скачок по сравнению с предыдущими неинвазивными системами, чья точность не превышала 8%. Для одного из участников показатель достиг 78%, причём более половины расшифрованных предложений содержали не более одной ошибки на слово. Предыдущая версия, Brain2Qwerty v1, показывала результат около 48%.

Несмотря на прорыв, до внедрения технологии для повседневного использования ещё далеко.

МЭГ-сканер занимает целую комнату, стоит огромных денег и требует специального магнитного экранирования для защиты от помех.

Кроме того, система обрабатывает данные только после завершения сеанса печати, не обеспечивая обратной связи в реальном времени.

Но главное противоречие в том, что модель обучена распознавать сигналы, возникающие при физическом наборе текста на клавиатуре, хотя ее целевая аудитория — люди, которые часто не могут не только говорить, но и двигаться и чаще всего не способны печатать. В Meta признают, что для помощи полностью обездвиженным пациентам потребуется перестраивать систему на распознавание воображаемых движений.

Meta открыла исходный код обеих версий Brain2Qwerty на GitHub, а партнёрская исследовательская организация Basque Center on Cognition, Brain and Language (BCBL) опубликовала набор данных для первой версии. Это часть более масштабного «Цифрового проекта мозга» Meta, в рамках которого компания также выделила $5 миллионов на создание открытых наборов данных в области нейробиологии.

Хотя до создания портативного устройства чтения мыслей ещё далеко, исследователи отмечают, что точность модели растёт логарифмически с увеличением объёма данных. Это даёт надежду на то, что в будущем неинвазивные технологии смогут приблизиться к возможностям имплантируемых устройств, но без связанных с ними рисков и ограничений.

Источник: https://www.opennet.ru/opennews/art.shtml?num=65817

* Деятельность Meta Platforms Inc. запрещена на территории РФ