Faces reconstructed from Brain-Scans

Gepostet vor 1 Jahr, 17 Tagen in #Misc #Science #Tech #AI #Brains #Neuroscience

Share: Twitter Facebook Mail

eigenface0

Wissenschaftler haben Gesichter aus der Hirnaktivität während des Erinnerungsvorgangs extrahiert. Die haben zunächst die Neuro-Reaktion der Versuchsteilnehmer auf über 1000 Gesichter in einem MRI-Scan aufgezeichnet, die Testgesichter wurden schließlich auf 300 „Eigengesichter“ runtergebrochen und man trainierte eine A.I. per Machine Learning auf die mit diesen Eigengesichtern assoziierten Hirnwellen. Damit konnten sie dann nicht nur Gesichter während des Betrachten neuer und noch nicht gesehener Test-Fressen aus der Hirnaktivität rekonstruieren, sondern auch aus der Erinnerung an diese, also ohne direkten visuellen Stimulus.

Die Rekonstruktion ist zwar alles andere als perfekt und Personen lassen sich damit noch nicht identifizieren, aber immerhin.

eigenfaceDuring an fMRI scan, [1000 color photos of different faces] were shown to partcipants one after the other and the neural responses were recorded. The set of faces was then decomposed into 300 eigenfaces [and] Each eigenface represents some statistical aspect of the data. The neural activity associated with each eigenface was then determined in a machine learning step […]

Lee and Kuhl presented participants with test faces that they’d never seen before (i.e. novel faces not in the training dataset). The neural responses to the new faces were analysed to work out the eigenfaces that were activated in the partcipants’ brains (B, above). By summing these predicted eigenfaces, a ‘reconstructed’ face could be created. These eigenfaces were significantly more similar to the actual test faces than would be expected from chance.

It gets better. As well as reconstructing faces from neural activity during perception of the faces (which has been done before), Lee and Kuhl examined neural activity when faces weren’t actually on the screen at all. Participants were given a face recall task, in which they had to hold a face in memory. It turns out that these remembered faces could be reconstructed too, based on the neural activity in a memory-related brain region, the angular gyrus (ANG).

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Human Fetuses prefer „face-like“ Shapes

Vor einer Woche bloggte ich über Gesichter, die man aus den „Gesichtserkennungs-Neuronen“ von Makaken-Affen rekonstruiert hatte. Damals schrieb ich: „Der…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Spider Webs are extended Spider Brains and they suck Insect-Shells

Illu: Sineater for Quantamag Vor ein paar Jahren durchschnitt Hilton Japyassú ein paar der Stränge in den Gebilden von Radnetz-Spinnen,…

Algo-Faces reconstruced from Monkey Brainwaves

Vor drei Wochen erst bloggte ich über die visuelle Rekonstruktion von Gedanken anhand von EEG-Aufzeichnungen, mit denen man Neural Networks…

Anti-AI-AI cools your ear when it hears AI-Voices

Nette Spielerei der australischen Kreativagentur DT, ein Wearable-AI-Device mit einem Neural Network, das auf synthetische Stimmen trainiert wurde und das…

In The Robot Skies

Vom spekulativen Architekten Liam Young, der erste Kurzfilm gedreht per Computer Vision mit autonomen Quadcoptern. In collaboration with the Embedded…