29 июня Meta представила систему, которая восстанавливает набираемый текст по записи активности мозга без хирургического вмешательства. По заявлению компании, средняя точность на уровне слов достигла 61% против примерно 8% у прежних неинвазивных методов.
Brain2Qwerty v2 обучили примерно на 22 000 предложений. В эксперименте участвовали девять здоровых добровольцев: каждый провел по 10 часов в сканере магнитоэнцефалографии и набирал услышанные фразы на клавиатуре.
«Вместо созданных вручную схем для выявления нейронных событий мы используем сквозное глубокое обучение, чтобы декодировать данные напрямую из сырых сигналов мозга», — заявили в Meta.
Brain2Qwerty v2 работает с непрерывной записью активности мозга и восстанавливает предложение целиком. Для уточнения результата система использует дообученную языковую модель, которая учитывает смысловой контекст. Лучший участник достиг 78% точности на уровне слов. Более половины его предложений система декодировала с одной ошибкой или без.
Разработка пока не готова к клиническому или бытовому применению. Brain2Qwerty v2 тестировали на здоровых добровольцах, которые реально печатали текст. Для людей, потерявших речь или способность двигаться, этот подход нужно проверять отдельно.
Также система пока не работает как полноценный ввод текста в реальном времени. Модель обрабатывает предложение целиком, поэтому пользователь не видит каждое слово сразу после его набора.
Проект связан с Digital Brain Project — инициативой по созданию открытых нейронаучных наборов данных. Бюджет программы составляет $5 млн.
Напомним, в сентябре 2022 года Meta опубликовала исследование о «мозговом декодере», который с помощью искусственного интеллекта преобразовывает мысли в речь.
https://forklog.com/exclusive/moj-mozg-kompyuter
