I ricercatori di Rochester sfrutteranno il potere immersivo della realtà virtuale per studiare come il cervello elabora la luce e il suono.
Un team interdisciplinare di ricercatori dell’Università di Rochester sta collaborando a un progetto per utilizzare la realtà virtuale (VR) per studiare come gli esseri umani combinano ed elaborano luce e suono. Il primo progetto sarà uno studio dell’integrazione multisensoriale nell’autismo, motivato da un lavoro precedente che dimostrerà che i bambini con autismo hanno un’elaborazione multisensoriale atipica.
Il progetto è stato inizialmente concepito da Shui’er Han, un ricercatore associato post-dottorato, e Victoire Alleluia Shenge ’19, ’20 (T5), responsabile di laboratorio, nel laboratorio di Duje Tadin, professore di scienze cognitive e del cervello.
“La maggior parte delle persone nel mio mondo, inclusa la maggior parte del mio lavoro, conduce esperimenti utilizzando tipi di stimoli artificiali, lontani dal mondo naturale”, afferma Tadin. “Il nostro obiettivo è fare ricerche multisensoriali non utilizzando segnali acustici e flash, ma suoni reali e oggetti di realtà virtuale presentati in stanze VR dall’aspetto realistico”.
Uno scienziato cognitivo, uno storico e un ingegnere elettrico entrano in una stanza. . .
I partner di Tadin nello studio includono Emily Knight, una nuova professoressa associata di pediatria, esperta di sviluppo cerebrale e elaborazione multisensoriale nell’autismo. Ma nella creazione dell’ambiente di realtà virtuale che i partecipanti allo studio utilizzeranno, una versione virtuale della Kodak Hall presso l’Eastman Theatre nel centro di Rochester, Tadin ha formato collaborazioni ben al di fuori della sua disciplina.
I membri della facoltà che lavorano su questa fase iniziale del progetto di ricerca includono Ming-Lun Lee, professore associato di ingegneria elettrica e informatica, e Michael Jarvis, professore associato di storia. Partecipano anche diversi laureandi e laureandi.
Molti degli strumenti che utilizzeranno provengono dalle biblioteche del River Campus, in particolare dallo Studio X, l’hub dell’Università per i progetti di realtà estesa, nonché dal dipartimento delle borse di studio digitali. Emily Sherwood, direttrice di Studio X e Digital Scholarship, sta guidando lo sforzo per costruire effettivamente la replica virtuale di Kodak Hall.
Il gruppo si è recentemente riunito nello storico spazio della performance per raccogliere i dati audio e visivi su cui si baserà Studio X. Il fotografo universitario J. Adam Fenster ha seguito per documentare il lavoro del gruppo.
1
I membri del team iniziano la configurazione per la raccolta di dati audio e visivi. Da sinistra a destra ci sono Shui’er Han, un ricercatore post-dottorato nel laboratorio di Duje Tadin; specializzazione in scienze cognitive e del cervello Betty Wu ’23; Haochen Zeng ’23, specializzazione in informatica e economia e studentessa e5, che lavora nello Studio X delle biblioteche del River Campus; e Victoire Alleluia Shenge ’19, ’20 (Take Five), che si è laureata in scienze cognitive e del cervello ed è manager nel laboratorio di Tadin.
2
Han posiziona una testa fittizia dotata di un microfono in ciascun orecchio. Registrerà il suono da due prospettive, proprio come lo sentirebbe un essere umano nella stanza.
3
I membri del team (in senso orario dal primo piano in basso a sinistra) Ming-Lun Lee, professore associato di ingegneria elettrica e informatica ed esperto di audio spaziale, Wu, Shenge, il dottorando di ingegneria elettrica Steve Philbert e Han misurano e registrano la posizione dei microfoni sul palco della Kodak Hall.
4
Philbert e Wu misurano la distanza tra la testa fittizia binaurale e un altoparlante.
5
Michael Jarvis, professore associato di storia, si è preparato per lo scanner laser FARO sul palco della Kodak Hall. Jarvis è un esperto nell’utilizzo di software di modellazione 3D per acquisire e creare digitalmente spazi interattivi che gli utenti possono visitare e visitare virtualmente. I suoi progetti di storia digitale hanno incluso l’acquisizione e l’analisi digitale di siti archeologici modellando edifici storici alle Bermuda e in Ghana.
6
I membri del team aspettano fuori dalla Kodak Hall durante una scansione visiva. Posizionando un unico scanner laser FARO in vari punti intorno alla Kodak Hall, il gruppo ha eseguito otto scansioni, ciascuna della quale ha richiesto circa 12 minuti, e insieme ha catturato circa un miliardo di punti dati che verranno utilizzati per generare un modello 3D dell’interno della sala.
7
Jarvis scatta foto intorno alla sala che verranno cucite insieme per creare un modello fotogrammetrico complementare dello spazio, aumentando le scansioni laser nelle aree in cui i punti dati sono scarsi o mancanti. I modelli di fotogrammetria, in cui le immagini 2D vengono utilizzate per estrarre informazioni per produrre un modello 3D, sono meno accurati dei modelli 3D realizzati con scansioni laser, ma hanno una risoluzione maggiore.
8
Philbert, Joey Willenbucher ’23, specialista in ingegneria audio e musicale, e Tadin riposizionano un altoparlante. L’altoparlante deve essere allineato orizzontalmente con il microfono per acquisire al meglio i dati audio.
9
Shenge utilizza un telemetro laser, che genera il punto arancione sulla carta tenuta da Tadin, per determinare la distanza ottimale tra un altoparlante e la testa del manichino binaurale.
10
Blair Tinker (a destra), uno specialista di ricerca per la borsa di studio digitale sui sistemi di informazione geografica presso le biblioteche del River Campus, e Zeng sono tra quelli di Digital Scholarship e Studio X che trasformeranno i dati visivi e audio in una replica VR di Kodak Hall a cui partecipano Lo studio di Tadin utilizzerà.
Dice Emily Sherwood, direttrice di Studio X e Digital Scholarship, il progetto di Tadin è “un ottimo esempio di come la ricerca che utilizza o sulla realtà estesa richieda competenze e supporto da un’ampia gamma di discipline. Avere un hub come Studio X aiuta a facilitare tali connessioni perché sappiamo su cosa stanno lavorando i diversi docenti e come potrebbero essere in grado di lavorare insieme”.
Studio X offre a studenti, docenti e personale le attrezzature necessarie per una serie di progetti, dalla creazione di una replica VR di Kodak Hall, allo svolgimento di gare di giochi VR.
Leggi di più
Studio X, tecnicamenteLa libreria tecnologica esistente di Studio X è stata creata per crescere con l’evolversi delle esigenze della comunità universitaria e del mercato della realtà estesa (XR).
Categoria: In primo piano