Неинвазивный интерфейс Brain2Qwerty научился читать мысли с точностью 61%
Французские исследователи разработали неинвазивный интерфейс, способный декодировать набираемый на клавиатуре текст по сигналам мозга. В основе технологии лежит нейросетевая модель Brain2Qwerty, использующая данные магнитоэнцефалографии (МЭГ) и электроэнцефалографии (ЭЭГ). Вторая версия интерфейса достигла средней точности распознавания слов 61%, а лучший результат среди участников составил 78%.
Интерфейс Brain2Qwerty, разработанный при участии компании Meta, представляет собой альтернативу инвазивным нейроинтерфейсам, требующим хирургического вмешательства. Вместо имплантации электродов система использует МЭГ-сканер, который регистрирует магнитные поля мозга, возникающие при мысленном наборе текста. Алгоритмы машинного обучения преобразуют эти сигналы в символы. По сравнению с первой версией, обученной на в десять раз меньшем объеме данных, точность выросла с 40% до 61%.
Для обучения модели использовались данные активности мозга девяти участников, которые набрали 22 тысячи предложений. Запись велась с помощью системы Megin (Elekta Neuromag) с 102 магнитометрами и 204 градиометрами при частоте 1000 сканирований в секунду. Участники набирали текст вслепую, слушая предложения через наушники. Система состоит из трех компонентов: Conformer для выделения букв, Aligner для объединения их в слова и LoRA LLM для реконструкции предложения с учетом смысла.
Несмотря на прогресс, точности 61% пока недостаточно для клинического применения. Кроме того, оборудование остается громоздким: современные МЭГ-сканеры превышают размеры пользователя. Однако в отрасли уже разрабатываются компактные датчики, которые в будущем могут сделать устройство пригодным для повседневного использования. Статья с результатами опубликована в журнале Nature Neuroscience.
