Elaborazione sensoriale: in una Kodak Hall virtuale: NewsCenter

21 giugno 2022

Una testa fittizia dotata di microfoni in ciascun orecchio e uno aggiuntivo in cima è tra le apparecchiature che un team multidisciplinare dell’Università di Rochester ha allestito per creare una replica in realtà virtuale di Kodak Hall. Duje Tadin, professore associato di cervello e scienze cognitive, utilizzerà la replica negli studi su come il cervello elabora la luce e il suono. Lo studio iniziale di Tadin si concentrerà sull’integrazione multisensoriale nelle persone con autismo. (Foto dell’Università di Rochester / J. Adam Fenster)


I ricercatori di Rochester sfrutteranno il potere immersivo della realtà virtuale per studiare come il cervello elabora la luce e il suono.

Un team interdisciplinare di ricercatori dell’Università di Rochester sta collaborando a un progetto per utilizzare la realtà virtuale (VR) per studiare come gli esseri umani combinano ed elaborano luce e suono. Il primo progetto sarà uno studio dell’integrazione multisensoriale nell’autismo, motivato da un lavoro precedente che dimostrerà che i bambini con autismo hanno un’elaborazione multisensoriale atipica.

Il progetto è stato inizialmente concepito da Shui’er Han, un ricercatore associato post-dottorato, e Victoire Alleluia Shenge ’19, ’20 (T5), responsabile di laboratorio, nel laboratorio di Duje Tadin, professore di scienze cognitive e del cervello.

“La maggior parte delle persone nel mio mondo, inclusa la maggior parte del mio lavoro, conduce esperimenti utilizzando tipi di stimoli artificiali, lontani dal mondo naturale”, afferma Tadin. “Il nostro obiettivo è fare ricerche multisensoriali non utilizzando segnali acustici e flash, ma suoni reali e oggetti di realtà virtuale presentati in stanze VR dall’aspetto realistico”.

Uno scienziato cognitivo, uno storico e un ingegnere elettrico entrano in una stanza. . .

I partner di Tadin nello studio includono Emily Knight, una nuova professoressa associata di pediatria, esperta di sviluppo cerebrale e elaborazione multisensoriale nell’autismo. Ma nella creazione dell’ambiente di realtà virtuale che i partecipanti allo studio utilizzeranno, una versione virtuale della Kodak Hall presso l’Eastman Theatre nel centro di Rochester, Tadin ha formato collaborazioni ben al di fuori della sua disciplina.

I membri della facoltà che lavorano su questa fase iniziale del progetto di ricerca includono Ming-Lun Lee, professore associato di ingegneria elettrica e informatica, e Michael Jarvis, professore associato di storia. Partecipano anche diversi laureandi e laureandi.

Molti degli strumenti che utilizzeranno provengono dalle biblioteche del River Campus, in particolare dallo Studio X, l’hub dell’Università per i progetti di realtà estesa, nonché dal dipartimento delle borse di studio digitali. Emily Sherwood, direttrice di Studio X e Digital Scholarship, sta guidando lo sforzo per costruire effettivamente la replica virtuale di Kodak Hall.

Il gruppo si è recentemente riunito nello storico spazio della performance per raccogliere i dati audio e visivi su cui si baserà Studio X. Il fotografo universitario J. Adam Fenster ha seguito per documentare il lavoro del gruppo.


Due persone lavorano su laptop sul palco mentre altre due guardano.

1

I membri del team iniziano la configurazione per la raccolta di dati audio e visivi. Da sinistra a destra ci sono Shui’er Han, un ricercatore post-dottorato nel laboratorio di Duje Tadin; specializzazione in scienze cognitive e del cervello Betty Wu ’23; Haochen Zeng ’23, specializzazione in informatica e economia e studentessa e5, che lavora nello Studio X delle biblioteche del River Campus; e Victoire Alleluia Shenge ’19, ’20 (Take Five), che si è laureata in scienze cognitive e del cervello ed è manager nel laboratorio di Tadin.

La donna regola la posizione di una testa umana sintetica fissata su un supporto e posta sul palco.

2

Han posiziona una testa fittizia dotata di un microfono in ciascun orecchio. Registrerà il suono da due prospettive, proprio come lo sentirebbe un essere umano nella stanza.

Due persone tengono il metro sul palco della Kodak Hall mentre altre due guardano.

3

I membri del team (in senso orario dal primo piano in basso a sinistra) Ming-Lun Lee, professore associato di ingegneria elettrica e informatica ed esperto di audio spaziale, Wu, Shenge, il dottorando di ingegneria elettrica Steve Philbert e Han misurano e registrano la posizione dei microfoni sul palco della Kodak Hall.

Due persone tengono il metro sul palco della Kodak Hall mentre un altro guarda.

4

Philbert e Wu misurano la distanza tra la testa fittizia binaurale e un altoparlante.

L'uomo si sporge verso lo scanner laser apposto sul treppiede.

5

Michael Jarvis, professore associato di storia, si è preparato per lo scanner laser FARO sul palco della Kodak Hall. Jarvis è un esperto nell’utilizzo di software di modellazione 3D per acquisire e creare digitalmente spazi interattivi che gli utenti possono visitare e visitare virtualmente. I suoi progetti di storia digitale hanno incluso l’acquisizione e l’analisi digitale di siti archeologici modellando edifici storici alle Bermuda e in Ghana.

Diversi membri del team seduti, in piedi, attorno ai gradini di un atrio.

6

I membri del team aspettano fuori dalla Kodak Hall durante una scansione visiva. Posizionando un unico scanner laser FARO in vari punti intorno alla Kodak Hall, il gruppo ha eseguito otto scansioni, ciascuna della quale ha richiesto circa 12 minuti, e insieme ha catturato circa un miliardo di punti dati che verranno utilizzati per generare un modello 3D dell’interno della sala.

L'uomo con la telecamera si inginocchia su un palco, scattando una foto.

7

Jarvis scatta foto intorno alla sala che verranno cucite insieme per creare un modello fotogrammetrico complementare dello spazio, aumentando le scansioni laser nelle aree in cui i punti dati sono scarsi o mancanti. I modelli di fotogrammetria, in cui le immagini 2D vengono utilizzate per estrarre informazioni per produrre un modello 3D, sono meno accurati dei modelli 3D realizzati con scansioni laser, ma hanno una risoluzione maggiore.

Due uomini regolano la posizione di un altoparlante.

8

Philbert, Joey Willenbucher ’23, specialista in ingegneria audio e musicale, e Tadin riposizionano un altoparlante. L’altoparlante deve essere allineato orizzontalmente con il microfono per acquisire al meglio i dati audio.

La donna sul palco punta il laser, mostrato come un punto rosso, verso un pezzo di carta.

9

Shenge utilizza un telemetro laser, che genera il punto arancione sulla carta tenuta da Tadin, per determinare la distanza ottimale tra un altoparlante e la testa del manichino binaurale.

Due uomini stanno sul balcone con uno scanner laser.

10

Blair Tinker (a destra), uno specialista di ricerca per la borsa di studio digitale sui sistemi di informazione geografica presso le biblioteche del River Campus, e Zeng sono tra quelli di Digital Scholarship e Studio X che trasformeranno i dati visivi e audio in una replica VR di Kodak Hall a cui partecipano Lo studio di Tadin utilizzerà.

Dice Emily Sherwood, direttrice di Studio X e Digital Scholarship, il progetto di Tadin è “un ottimo esempio di come la ricerca che utilizza o sulla realtà estesa richieda competenze e supporto da un’ampia gamma di discipline. Avere un hub come Studio X aiuta a facilitare tali connessioni perché sappiamo su cosa stanno lavorando i diversi docenti e come potrebbero essere in grado di lavorare insieme”.

Studio X offre a studenti, docenti e personale le attrezzature necessarie per una serie di progetti, dalla creazione di una replica VR di Kodak Hall, allo svolgimento di gare di giochi VR.


Leggi di più

Studente in cuffia e attrezzatura per realtà estesa nello spazio Studio X.Studio X, tecnicamente
La libreria tecnologica esistente di Studio X è stata creata per crescere con l’evolversi delle esigenze della comunità universitaria e del mercato della realtà estesa (XR).

tag: Arti e scienze, Dipartimento di scienze cerebrali e cognitive, Duje Tadin, post in primo piano, Hajim School of Engineering and Applied Sciences, Michael Jarvis, Ming-Lun Lee, biblioteche River Campus, realtà virtuale

Categoria: In primo piano

Leave a Comment