Vedcom z Texaskej univerzity sa podarilo pomocou novej technológie zistiť, čo účastníci počuli, videli alebo si dokonca predstavovali.
Neurovedci z Texaskej univerzity vôbec prvýkrát v histórii vytvorili systém, ktorý dokáže prepísať mozgovú aktivitu do súvislého prúdu textu. V novej štúdii publikovanej v Nature Neuroscience píšu, že sa im podarilo dekódovať údaje z neinvazívnych skenov mozgu a použiť ich na rekonštrukciu jazyka a príbehov, ktoré ľudia počuli, videli alebo si dokonca predstavovali.
Technológia, ktorá dokáže vytvoriť text z mozgových signálov, využíva „dekodéry reči“, ktoré doteraz pracovali len so zariadeniami chirurgicky implantovanými do mozgu. Iné dekodéry, ktoré používali, naopak, neinvazívne záznamy mozgovej aktivity, dokázali dekódovať jednotlivé slová alebo krátke frázy, ale nie súvislý jazyk.
Technológia prepísala aj presné frázy
V novom výskume vedci pracovali so signálom funkčnej magnetickej rezonancie (fMRI), ktorá je závislá od hladiny kyslíka v krvi. fMRI ukazuje zmeny v prietoku krvi a hladinách okysličenia v rôznych častiach mozgu.
Každý účastník si ľahol do fMRI skenera a 16 hodín počúval rôzne príbehy. Vedci pri tom zaznamenávali reakcie ich mozgu. Tie potom použili na trénovanie kódovača – výpočtového modelu, ktorý sa snaží predpovedať, ako bude mozog reagovať na určité slová. Opačný postup – prepísať obsah mozgu na slová – sa však ukázal ako zložitejší.
Čo proti alergiám? Pomôže ti bozkávanie aj počúvanie Mozarta (vysvetľuje vedec)
3. mája 2024, 13:30
Aby sa to podarilo, vedci technológiu navrhli tak, aby spájala reakcie mozgu so „sémantickými vlastnosťami“ alebo so širokým významom slov a viet. Na tento účel systém používa pôvodný jazykový model GPT, ktorý je predchodcom dnešného modelu GPT-4.
1/5 Mind Reading Possible With AI?
— Prompt Master - Prompt Engineering (@promptmaster_) May 3, 2023
Non-invasive mind-reading is now possible through AI, thanks to a decoder that translates brain activity into text.
Developed by a team of scientists led by Dr. Alexander Huth from the University of Texas at Austin pic.twitter.com/XoYNwTtVrv
Po tréningu kódovač vygeneroval sekvencie slov, ktoré veľmi dobre zachytávali všeobecnú podstatu príbehov a v niektorých prípadoch obsahovali presné slová a frázy. Vedci tiež nechali účastníkov sledovať nemé filmy a predstavovať si príbehy. V oboch prípadoch sa dekodéru často podarilo predpovedať podstatu príbehov.
Napríklad, jeden používateľ si pomyslel „ešte nemám vodičský preukaz“, a dekodér predpovedal „ešte sa ani nezačala učiť šoférovať“. Porovnanie skutočných a dekódovaných myšlienok si môžeš pozrieť tu.
Systém má svoje muchy
Jedným z obmedzení používania údajov fMRI je ich nízke „časové rozlíšenie“. Signál závislý od hladiny kyslíka v krvi stúpa a klesá počas približne 10-sekundového obdobia, počas ktorého môže osoba počuť 20 alebo viac slov. V dôsledku toho táto technika nedokáže odhaliť jednotlivé slová, ale iba potenciálne významy sekvencií slov.
Navyše, aby boli predpovede čo najpresnejšie, sú potrebné údaje z viacerých oblastí mozgu – rečovej siete, parietálno-temporálno-okcipitálnej asociačnej oblasti a prefrontálneho kortexu.
Čítanie myšlienok zatiaľ nehrozí
To, že technológie na „čítanie myšlienok“ idú dopredu, dokazuje aj nedávny výskum vedcov zo Švajčiarskeho federálneho technologického inštitútu. Tí vyvinuli nový algoritmus strojového učenia, ktorý dokáže premeniť mozgové signály na videá.
Využili na to umelú inteligenciu, ktorá „čítala“ mozog laboratórnej myši, keď sledovala videoklip. Tieto signály merala pomocou elektródových sond vložených do oblasti zrakovej kôry. Algoritmus potom presne predpovedal sekvenciu snímok, ktoré myš sledovala.
Vedci tvrdia, že v tejto fáze je veľmi nepravdepodobné, že naše myšlienky niekto prečítal proti našej vôli, píše The Conversation. Na tento proces je totiž potrebná spolupráca účastníka, ktorý by mohol dekódovanie ľahko narušiť – napríklad tým, že by presmeroval svoju pozornosť na inú úlohu či myšlienku.
