Rozhraní mozku a počítače dokáže přeložit myšlenky do řeči

Neuroengineers vytvořili nový systém, který může přeložit jednoduché myšlenky do rozpoznatelné řeči, používat umělou inteligenci a syntetizátor řeči, podle studie publikované v úterý.

Tým výzkumníků z New Yorku dokázal rekonstruovat slova s ​​využitím pouze mozkové aktivity, což je inovace, která by mohla připravit cestu pro technologie řízené mozkem, jako je například smartphone, který dokáže přeložit vaše myšlenky do textových zpráv.

Dr. Nima Mesgarani, docent na Kolumbijské univerzitě, vedl studii a vyprávěl Inverzní že vidí velký potenciál pomoci obnovit řeč lidem, kteří se zotavují z mrtvice nebo žijí s amyotrofickou laterální sklerózou (ALS). Kromě toho by tento typ techniky mohl také otevřít dveře smartphonům spojeným s mozkem, které by umožnily uživatelům text používat své mysli, i když to je ještě daleko. Jeho práce byly publikovány v časopise Vědecké zprávy.

„Jednou z motivací této práce je alternativní metody interakce člověk-počítač, jako je možné rozhraní mezi uživatelem a smartphonem,“ říká. „Nicméně, to je ještě daleko od reality, a v tuto chvíli informace, které lze extrahovat pomocí neinvazivních metod, nejsou dost dobré pro aplikaci rozhraní mozku a počítače.“

Poslechněte si řeč generovanou rozhraním mozku a počítače.

Pro vývoj nové techniky, Mesgarani a jeho kolega, Dr. Ashesh Dinesh Mehta z Northwell Health Physician Partners Neuroscience Institute, začal zkoumáním mozkové aktivity pacientů s epilepsií pro jejich studium. Tito pacienti již měli v mozku elektrodové implantáty ke sledování záchvatů, které Mesgarani a Mehta dokázali použít pro sběr dat pro svůj výzkum.

Duo požádalo ochotné účastníky, aby si poslechli reproduktory přednášející čísla mezi nulou a devíti, a pak zaznamenali mozkové signály z této interakce. Dále vyškolili neuronovou síť - program, který napodobuje neuronovou strukturu v lidském mozku - rozpoznávají vzory v signálech a převádějí je do roboticky znějících slov pomocí syntetizátoru řeči, známého jako vokodér.

Výsledkem byl krátký hlasový záznam toho, co zní jako Microsoft Sam, který počítá od nuly do devíti. Impozantní část je, jak jasná je řeč ve srovnání s jinými metodami, které výzkumníci testovali. Je však třeba ještě vykonat spoustu práce.

„Může trvat i deset let, než bude tato technologie dostupná,“ říká Mesgarani. „Potřebujeme větší pokrok jak v dlouhodobých, biokompatibilních implantabilních elektrodách, tak i v průlomových technologiích v neinvazivních metodách neurálního záznamu. Potřebujeme také lepší pochopení toho, jak mozek představuje řeč, abychom mohli vylepšit naše metody dekódování. “

Pacienti, kteří byli součástí této studie, například všichni měli operaci mozku, aby implantovali elektrokortikografické monitory. Jedná se o extrémně invazivní proces, který vyžaduje otevřenou operaci mozku, něco, co většina lidí nemusí být ochotna podstoupit, a to i v případě, že existuje možnost obnovení některých jejich schopností řeči.

Tato studie zatím zavedla metodu dekódování mozkových signálů do řeči. Pokud zjistíme, jak přesně detekovat mozkovou aktivitu bez chirurgického zákroku, budeme o krok blíž nejen revoluci v logopedické terapii, ale i potenciálně k zavedení smartphonů spojených s mozkem.

Výzkum v oblasti rozhraní mozku a počítače získal v posledních letech nový zájem. V dubnu 2017 Facebook oznámil, že pracuje na BCI během své výroční konference F8. A Elon Musk oznámil v listopadu 2018, že se najal Neuralink, jeho vlastní BCI startup.

Abstraktní

Rekonstrukce sluchového podnětu je technika, která najde nejlepší aproximaci akustického podnětu od populace vyvolané nervové aktivity. Rekonstrukce řeči z lidské sluchové kůry vytváří možnost neuroprostetiky řeči navázat přímou komunikaci s mozkem a bylo prokázáno, že je to možné v zjevných i skrytých podmínkách. Nízká kvalita rekonstruované řeči však značně omezila využití této metody pro aplikace rozhraní mozek-počítač (BCI). Abychom pokročili v současném stavu neuroprostézy řeči, spojili jsme nedávný pokrok v hlubokém učení s nejnovějšími inovacemi v technologiích syntézy řeči, abychom rekonstruovali uzavřenou, srozumitelnou řeč z lidské sluchové kůry. Zkoumali jsme závislost rekonstrukční přesnosti na regresních metodách lineární a nelineární (hloubkové neuronové sítě) a akustické reprezentaci, která je používána jako cíl rekonstrukce, včetně parametrů sluchového spektrogramu a syntézy řeči. Kromě toho jsme porovnávali přesnost rekonstrukce z nízkofrekvenčních a vysokých frekvenčních rozsahů. Naše výsledky ukazují, že model hluboké neuronové sítě, který přímo odhaduje parametry syntezátoru řeči ze všech nervových frekvencí, dosahuje nejvyšší subjektivní a objektivní skóre na úkolu rozpoznávání číslic, čímž zlepšuje srozumitelnost o 65% oproti základní metodě, která používá lineární regresi na rekonstruovat sluchový spektrogram. Tyto výsledky demonstrují účinnost algoritmů hlubokého učení a syntézy řeči pro navrhování příští generace systémů řeči BCI, které nejenže mohou obnovit komunikaci u paralyzovaných pacientů, ale také mají potenciál transformovat technologie interakce člověk-počítač.

Související videa: Mozek Wave snímání Roboti mohou sloužit jako rozšíření lidského těla