Пізнавальне

Дослідники з Нідерландів, Німеччини та США, використовуючи обчислювальні моделі на основі нейронних мереж, реконструювали слова і речення, зчитуючи сигнали головного мозку. Для цього вони спостерігали за ділянками мозку в ті моменти, коли люди читали вголос, вимовляли слова, або просто слухали записи. Про це повідомляє редакція журналу Science.

"Ми намагаємося розробити схему штучних нейронів, які включаються і вимикаються в різні моменти часу, відтворюючи звук. Те, як ці сигнали переводяться в мову, індивідуально для кожної людини, тому комп’ютерні алгоритми повинні вміти «розуміти», як це зробити", – розповіла Німа Месгарані з Колумбійського університету.

У своїй роботі експерти спиралися на дані, отримані від п’яти людей з епілепсією. Мережа аналізувала "поведінку" слухової кори (яка активна як під час промови, так і під час прослуховування). Потім комп’ютер реконструював мовні дані з імпульсів, отриманих від цих людей. В результаті алгоритм впорався з точністю до 75%.

Інша команда вчених, яку очолював нейробіолог Мігель Ангрік з Бременського університету в Німеччині і Крістіан Херф з Маастріхтського університету в Нідерландах, яка спиралася на дані шести осіб, які перенесли операцію з видалення пухлини головного мозку. Мікрофон вловлював їх голоси, коли вони читали вголос окремі слова. В цей час електроди записували інформацію з мовних центрів головного мозку. Мережа зіставила показання електродів з аудіозаписами. В результаті близько 40% даних були розпізнані вірно.

Третя команда з Каліфорнійського університету в Сан-Франциско реконструювала цілі речення на основі прочитаної мозкової активності від трьох пацієнтів з епілепсією, які читали певні речення вголос. Деякі речення були правильно визначені більш ніж в 80% випадків.

Незважаючи на досить непогані результати, система все ще знаходиться на ранньому етапі і потребує додаткового доопрацювання. Але якщо все вийде, сотні тисяч людей в усьому світі знову можуть отримати можливість говорити.