Az amerikai berkeley-i Kaliforniai Egyetem agykutatói egy mesterséges intelligencián alapuló algoritmus segítségével „kiolvasták” a Pink Floyd Another Brick in the Wall (Part 1) című számát halló emberek agyából a dal keltette elektromos jeleket, és azokat értelmezve visszaalakították hanggá az emberek gondolatait. A rekonstruált dal kis jóindulattal felismerhető. A kutatók szerint ez hatalmas lépés afelé, hogy a néma emberek agyi aktivitásának dekódolása révén lehetővé tegyék számukra a (gépi) beszédet.
A kutatásban olyan személyek vettek részt alanyként (29-en), akiknek előzetesen a súlyos epilepsziájuk kezeléseképpen elektródokat építettek az agyukba. Az elektródok fő funkciója, hogy a meghatározott idegsejtek elektromos aktivitását monitorozzák, és ha szükséges (tehát ha epilepsziás rohamot megelőző aktivitásmintázatot detektálnak), akkor apró elektromos impulzusok segítségével stimulálják az agyat, hogy elhárítsák a roham veszélyét.
Az egyik alany agyi aktivitásából rekonstruált Another Brick in the Wall
Minthogy e betegek az agyukban érzékelő elektródokkal élnek, kiváló alkalmat kínálnak az agyi folyamatokat kutató tudósok számára az idegsejtek aktivitásának valós idejű nyomon követésére. Ha hasonló elektródokat akarnának beültetni egészséges alanyok agyába azért, hogy aztán az agysejtjeik tüzeléséből a Pink Floyd egyik számát rekonstruálhassák, az olyannyira invazív beavatkozásnak minősülne, hogy egyetlen etikai bizottság sem bólintana rá. De az elektródokkal kezelt epilepsziások alapból rendelkeznek az agyi elektródokkal, így a kísérlet kedvéért nem kell rajtuk újabb műtétet végezni.
A kísérletet az tette lehetővé, hogy rengeteg másik ember agyi aktivitását rögzítették korábban zenehallgatás közben, és a mesterséges intelligencia e felvételeket elemezve megtalálta az aktivitás azon jellemzőit, amelyek a zene bizonyos jellegzetességeihez (hangmagasság, tonalitás, ritmus...) társíthatók. Ezáltal létrejött az agysejtek tüzelési mintázata és a zene közötti fordítást lehetővé tévő „szótár”. A kutatók rátaláltak a halántéklebeny (ahol a hallott hang feldolgozásának jelentős része zajlik) egy pontjának azon idegsejtjeire is, amelyek konkrétan a basszusgitárszólamra reagálnak, és azt feltételezik, hogy e régió lehet felelős a ritmusérzékelésért.
A Pink Floyd talán leghíresebb számát azért választották, mert az idősebb alanyok ezt szerették. „Ha úgy reagáltak volna rá, hogy »Nem fogom ezt a szemetet hallgatni«, akkor az adatok használhatatlanok lettek volna” – nyilatkozta az egyik résztvevő kutató, Gerwin Schalk. Az Another Brick in the Wall abból a szempontból is praktikus volt, hogy 41 másodperc éneket és 2,5 perc instrumentális részt is tartalmaz, így a kutatók elegendő adatot gyűjthettek mindkettőről, hogy elemezhessék a hangszeres zene és az ének agyi feldolgozásának különbségeit.
A dal rekonstrukciója során azonosították a hallókéreg azon idegsejtjeit, amelyek a hang különböző frekvenciáira érzékenyek. Ezután az összes alanynak lejátszották a dalt, rögzítették az agyi aktivitásukat, majd az általános szótárat használva újraépítették az agyi impulzusokból „kihallható” hangokat. A kutatók szerint az összes alany esetében felismerhető lett a rekonstrukció, de azért jelentős különbségek voltak közöttük, ami a zene egyéni érzékelésének különbségeire utalhat.
Összehasonlításképpen az eredeti:
