Temokake MinD-Vis: Model AI sing Bisa Rekonstruksi Apa Sampeyan Deleng Nggunakake Scan Otak

Model panyebaran dadi apel saka mata komunitas pembelajaran mesin ing sawetara wulan kepungkur. Saka ngasilake video nggunakake pituduh teks kanggo nyunting gambar, kita wis ndeleng macem-macem aplikasi sukses model difusi ing waktu pungkasan.

Ing idea konco model difusi punika relatif prasaja. Sampeyan miwiti kanthi swara murni lan mboko sithik nganti sampeyan entuk gambar sing katon nyata. Sampeyan bisa uga takon, kepiye carane teks sing digunakake? Carane padha mengaruhi gambar output? Inggih, jawabane digunakake kanggo kondisi jaringan supaya proses denoising bertahap menyang arah tartamtu.

Dadi, kita ngerti yen kita miwiti saka gambar swara murni, kita bisa ngasilake gambar sing katon nyata. Mangkono cara kerjane model difusi. Apa sampeyan tau kepingin weruh carane kita ngelingi utawa mbayangno obyek sing wis kita deleng sadurunge? Apa sing kedadeyan ing otak kita nalika ndeleng bebek ing taman lan mulih lan nyoba ngelingi apa sing katon? Lan kenapa aku malah ngomong babagan iki ing artikel model difusi? Inggih, amarga MinD-Vis nyoba kanggo entuk soko tenan menarik. Dekoding scan MRI otak manungsa kanggo mbangun maneh obyek sing dideleng.

Ya, sampeyan maca kanthi bener. Ana model difusi kanggo mbangun maneh obyek sing sampeyan deleng nggunakake scan MRI otak nalika sampeyan ndeleng obyek kasebut.

Kita mbentuk urip kita babagan apa sing kita alami lan apa sing kita deleng. Saliyane kuwalitas rangsangan njaba, pengalaman kita uga mbentuk aktivitas otak sing kompleks sing ndasari persepsi kita ing donya. Tujuan utama neuroscience kognitif yaiku mangertos fungsi otak kasebut lan nerjemahake informasi sing disimpen. Mulane, dekoding informasi visual saka mindai otak minangka tugas penting.

Kepiye carane njupuk informasi ing otak, sanadyan? Umume kita bisa ndeleng piranti Magnetic Resonance Imaging (MRI) ing rumah sakit. Piranti kasebut bisa mindai aktivitas otak. Pencitraan resonansi magnetik fungsional (fMRI), ing sisih liya, minangka jinis teknologi pencitraan medis sing nggunakake medan magnet lan gelombang radio kanggo ngasilake gambar otak sing rinci. Ora kaya MRI tradisional, sing ngasilake gambar statis saka otak, fMRI bisa digunakake kanggo nggawe gambar dinamis sing nuduhake owah-owahan ing aktivitas otak saka wektu.

Sawetara studi fokus kanggo mbalekake korespondensi visual nggunakake scan fMRI asli lan tuntunan prinsip biologi kanthi model pembelajaran sing jero. Nanging, amarga model sinau jero diwenehi data sing akeh banget, lan amarga ora ana set data pasangan gambar fMRI skala gedhe, pendekatan kasebut biasane ngasilake gambar sing surem lan ora ana artine.

Ndarbeni perwakilan swara sing efisien lan biologis kanggo fMRI penting kanggo mbangun hubungan sing jelas lan universal antarane aktivitas otak lan rangsangan visual kanthi sawetara anotasi sing dipasangake.

Nalika nerangake menehi informasi konteks menyang model pembelajaran jero, sinau sing diawasi dhewe kanthi tugas pretext ing dataset gedhe minangka pendekatan sing kuat banget. Sakwise, tugas khusus domain diadopsi kanggo finetune model luwih. Iki utamané migunani nalika ukuran dataset relatif cilik. Nanging, penting kanggo milih tugas pretext sing tepat kanggo nggunakake pendekatan iki kanthi bener. Masked Signal Modeling (MSM) minangka salah sawijining conto sing paling apik ing kene, amarga bisa entuk asil sing apik banget ing tugas visi komputer.

Kajaba iku, kita kabeh weruh carane model difusi sing apik nalika nerangake generasi. Dheweke nyedhiyakake kinerja sing unggul ing stabilitas generasi lan latihan. Iki migunani kanggo dekoding rangsangan visual.

Mula, MinD-Vis nggabungake rong alat kasebut kanggo nggawe model dekoding rangsangan sing bisa dipercaya. MinD-Vis minangka Pemodelan Otak Masked Jarang kanthi Model Difusi Laten Berkondisi Ganda kanggo Dekoding Visi Manungsa. Eksploitasi sinau dataset skala gedhe lan niru pengkodean informasi sing jarang ing otak. MinD-Vis bisa ngasilake gambar sing migunani kanthi rincian sing cocog nggunakake rekaman otak kanthi sawetara pasangan latihan.


Priksa metu ing kertas, Kodelan Proyek. Kabeh Kredit Kanggo Riset Iki Kanggo Peneliti Proyek Iki. Uga, aja lali gabung kaca Reddit kita lan saluran discording ngendi kita nuduhake warta riset AI paling anyar, proyek AI sing keren, lan liya-liyane.


Ekrem Çetinkaya nampa gelar B.Sc ing taun 2018 lan M.Sc ing taun 2019 saka Universitas Ozyegin, Istanbul, Türkiye. Dheweke nulis tesis M.Sc babagan denoising gambar nggunakake jaringan convolutional jero. Dheweke saiki lagi nggayuh gelar Ph.D ing Universitas Klagenfurt, Austria, lan kerja minangka peneliti ing proyek ATHENA. Kapentingan riset kalebu sinau jero, visi komputer, lan jaringan multimedia.


Leave a Comment

Your email address will not be published. Required fields are marked *