ШІ перетворює думки на текст: Meta розробила нову технологію Brain2Qwerty

Американська компанія Meta розробила технологію Brain2Qwerty, яка дозволяє перетворювати думки людини на друкований текст.

Що відомо про Brain2Qwerty

Дослідження проводилося в Іспанії, де 35 добровольців годинами друкували речення, поки спеціальна установка вагою в пів тонни записувала їхню мозкову активність. Ця установка в Баскському центрі пізнання, мозку та мови дала початок Brain2Qwerty, найамбітнішому на сьогоднішній день неврологічному проєкту компанії Meta.

Винахід являє собою неінвазивний інтерфейс “мозок-комп’ютер” (BCI), який декодує речення з нейронної активності, записаної за допомогою електроенцефалографії (ЕЕГ) або магнітоенцефалографії (МЕГ).

Інновація Brain2Qwerty полягає в гібридній архітектурі глибокого навчання, яка поєднує в собі згорткові нейронні мережі (CNN), трансформаторні моделі та попередньо навчений мовний модуль.

Шар CNN витягує просторові та часові характеристики з необроблених даних ЕЕГ/МЕГ, виділяючи патерни, пов’язані з руховою активністю під час набору тексту. Потім ці сигнали обробляються трансформаторним модулем для передбачення слів або фраз, а не окремих символів. Нарешті, мовна модель уточнює результати, виправляючи помилки та узгоджуючи прогнози з лінгвістичними ймовірностями.

На відміну від інших технологій BCI, які покладаються на зовнішні подразники або уявні рухи, Brain2Qwerty використовує природну моторну активність людини, що зменшує когнітивне навантаження та робить процес більш інтуїтивним.

Попри значний прогрес, наразі технологія має проблеми із точністю розпізнавання тексту. Однак її потенціал відкриває нові можливості, особливо для людей з порушеннями мовлення та руху.