Guarda cosa succede nel tuo cervello se ascolti la musica con la corteccia visiva

La nostra esperienza della musica è legata alle immagini e ne è condizionata molto più di quello che pensiamo. Anzi: siamo talmente immersi nella componente visiva delle canzoni o dei brani che ascoltiamo—da YouTube alle tv nelle palestre—che ci stiamo perdendo una proprietà unica della musica: il suono, infatti, sa trasformare e ricostruire immagini nel nostro cervello.

Questo spazio liminale tra musica e cervello umano è stato esplorato dall’artista Daito Manabe e dal neuroscienziato dell’Università di Kyoto Yukiyasu Kamitani con il progetto “dissonant imaginary” messo in scena a luglio al Sónar+D, il festival che dal 2013 accompagna il gemello musicale Sónar e unisce ricercatori, artisti, e innovatori che esplorano come la creatività e la tecnologia stanno cambiando il nostro presente e producendo nuovi futuri possibili.

Manabe e Kamitani utilizzano la scansione a risonanza magnetica per decodificare i segnali e visualizzare gli stati della corteccia visiva del cervello umano quando ascoltiamo la musica, ricostruendo le immagini che la nostra mente produce per poi proiettarle. Non solo: il processo vale anche al contrario e, in futuro, potremo avere una tecnologia che non genera solo video direttamente dalla musica, ma anche brani musicali a partire dalle immagini, per esempio, dei film che vediamo.

Motherboard ha parlato con Manabe per capire come “dissonant imaginary” possa rivoluzionare il modo in cui consumiamo la musica, bypassando del tutto le nostre abitudini e traendo le informazioni direttamente da quel computer altamente efficiente di cui siamo tutti muniti: il nostro cervello.

MOTHERBOARD: Perché avete deciso di creare “dissonant imaginary”?
Daito Manabe: Ho lavorato molto a progetti audio-visivi, la cosiddetta Sinestesia Artificiale. Alcuni esempi sono la generazione di video a partire dalle informazioni contenute nello spettro dell'analisi musicale o dalla generazione di musica analizzando le informazioni visive, come la rilevazione dei contorni in un video.

Sono affetto da sinestesia sensoriale naturale, quindi mi appaiono nella mente suoni quando guardo i video o immagini quando ascolto la musica. Ho sviluppato software per 15 anni per mostrare quelle immagini alle persone. Nel frattempo, mi sono sempre chiesto se fosse possibile estrarre immagini presenti all'interno del cervello analizzando le informazioni del cervello mentre ascolta la musica. Kamitani sta facendo ricerche che rendono possibile tutto ciò e questo è stato l'inizio.

Con questo progetto dichiari di voler esplorare il fenomeno dell'attenzione cross-modale; che cos'è e cosa può spiegare del nostro cervello?
Esatto. [Questo progetto è] una ricerca sul fenomeno dell'attenzione cross-modale e sulla sinestesia. La corteccia visiva e la corteccia uditiva esistono in due punti separati all'interno del cervello, ma è dimostrato che sono in relazione l'uno con l'altro.

"Dissonant imaginary" al Sónar+D. Video per gentile concessione degli artisti e del festival.

La musica influenza drasticamente la visione e viceversa. Ad esempio, i cambiamenti nei segnali acustici ti danno l'illusione di vedere dei flash aggiuntivi anche anche se, in effetti, non ci sono cambiamenti nel numero di flash.

Sebbene non si possa fare a meno di prendere in considerazione e riconoscere le interrelazioni tra lo stimolo visivo e quello musicale, nella maggior parte dei casi esiste una gerarchia [tra i sensi].

Succede spesso di avere una canzone fissa in testa: significa che associate a quella canzone possono apparire anche delle immagini?
È normale avere alcune immagini nella tua mente quando ascolti la musica. Ci sono alcuni che entrano in contatto con questa esperienza facendo VJing, traducendo la musica in immagini visive. È diverso da persona a persona e, quindi, alcuni hanno quella sensazione solo quando si mettono in un ambiente speciale come una vasca di deprivazione sensoriale.

A che punto è la tecnologia della scansione cerebrale? Recentemente, Neuralink, l’azienda fondata da Elon Musk, ha rivelato il suo progetto per un'interfaccia cervello-computer — come può questa tecnologia cambiare la nostra esperienza con la musica e i video? Ti piacerebbe che il tuo cervello fosse direttamente collegato a un computer?
Il prodotto di Elon Musk è una delle interfacce cerebrali più interessanti degli ultimi tempi. Sebbene le informazioni ottenute siano un po’ diverse da quelle che uso con la risonanza magnetica, è pensata per l'uso quotidiano e consente non solo di percepire, ma anche di stimolare [un effetto].

Ci vedo tanto potenziale. Sono il tipo di persona che vorrebbe vivere immediatamente connessa al computer. Sento che ci sono possibilità di trovare nuovi modi di esprimersi usando queste tecnologie.

Pensi che sarebbe possibile ricostruire musica e video dalle attività cerebrali e condividerli con il cervello delle altre persone, in modo che possano sperimentare come personalmente sento la musica? Questo aiuterebbe a connettersi l'un l'altro ancora di più?
Il linguaggio non è lo strumento migliore per condividere le tue sensazione quando ascolti la musica, ed è per questo che ho scelto la matematica e la musica: perché non ero bravo con il linguaggio.

Credo che questo strumento che ti consente di riprodurre ciò che sta accadendo nel tuo cervello possa essere un nuovo strumento di comunicazione. Anche se ci vorrà molto tempo prima che diventi un’esperienza accessibile a tutti, per ora puoi provare in un ambiente speciale.

Qual è il futuro dell'esperienza musicale? Possiamo immaginare concerti che si innestano direttamente nel nostro cervello?
Credo che la situazione attuale, in cui la musica viene sempre più spesso vissuta attraverso i video come Youtube o app per fare video live, toglie le possibilità di un'esperienza musicale in cui ascolti solo la musica.

Trovo sia un'esperienza interessante e divertente ascoltare la musica ad occhi chiusi per pensare a immagini nella mia mente, e mi piacerebbe anche creare una nuova esperienza musicale in cui non è possibile affidarsi al video o all'esperienza visiva.

Segui Riccardo su Twitter: @ORARiccardo