Faces reconstructed from Brain-Scans

Gepostet vor 3 Monaten, 20 Tagen in Misc Science Tech Share: Twitter Facebook Mail

eigenface0

Wissenschaftler haben Gesichter aus der Hirnaktivität während des Erinnerungsvorgangs extrahiert. Die haben zunächst die Neuro-Reaktion der Versuchsteilnehmer auf über 1000 Gesichter in einem MRI-Scan aufgezeichnet, die Testgesichter wurden schließlich auf 300 „Eigengesichter“ runtergebrochen und man trainierte eine A.I. per Machine Learning auf die mit diesen Eigengesichtern assoziierten Hirnwellen. Damit konnten sie dann nicht nur Gesichter während des Betrachten neuer und noch nicht gesehener Test-Fressen aus der Hirnaktivität rekonstruieren, sondern auch aus der Erinnerung an diese, also ohne direkten visuellen Stimulus.

Die Rekonstruktion ist zwar alles andere als perfekt und Personen lassen sich damit noch nicht identifizieren, aber immerhin.

eigenfaceDuring an fMRI scan, [1000 color photos of different faces] were shown to partcipants one after the other and the neural responses were recorded. The set of faces was then decomposed into 300 eigenfaces [and] Each eigenface represents some statistical aspect of the data. The neural activity associated with each eigenface was then determined in a machine learning step […]

Lee and Kuhl presented participants with test faces that they’d never seen before (i.e. novel faces not in the training dataset). The neural responses to the new faces were analysed to work out the eigenfaces that were activated in the partcipants’ brains (B, above). By summing these predicted eigenfaces, a ‘reconstructed’ face could be created. These eigenfaces were significantly more similar to the actual test faces than would be expected from chance.

It gets better. As well as reconstructing faces from neural activity during perception of the faces (which has been done before), Lee and Kuhl examined neural activity when faces weren’t actually on the screen at all. Participants were given a face recall task, in which they had to hold a face in memory. It turns out that these remembered faces could be reconstructed too, based on the neural activity in a memory-related brain region, the angular gyrus (ANG).

Tags: AI Brains Neuroscience

deep2

Epic 2016: Facebook, Amazon, Google, IBM und Microsoft gründen AI-Partnerschaft

Facebook, Amazon, Google, IBM und Microsoft arbeiten zukünftig gemeinsam unter dem Label Partnership on AI an Künstlichen Intelligenzen. Zunächst werden…

face

Neural Network Facemorphs

Hübsche Spielerei mit AI-Gesichtern von Michael Flynn: Generating Faces with Deconvolution Networks. Letztlich „nur“ eine animierte Version von den bekannten…

nne

Neural Network Bild-Retusche

Andrew Brock hat einen Foto-Editor mit AI-Retusche programmiert, hier auf Github, da das Paper. Alles noch im experimentellen Stadium, wie…

beatles

AI-composed „Beatles-Song“

Sony hat seine künstliche Intelligenz auf verschiedene Komponisten trainiert und die spuckt jetzt Song-Bausteine im Stil von [you name it]…

enhance

Neural Network Super Resolution getting good, fast

Neulich bloggte ich über die K.I.-Version der Zoom & Enhance-Meme und meinte noch, das seien ja nur 64x64 Pixel und…

netw

Neural Network Compositing

Adobe Research und die Uni Berkley arbeiten an Retusche und Compositing via Machine Learning. Die Ergebnisse sind zwar beeindruckend, aber…

sam

Google WaveNet: Neural Network-generated Text-2-Speech

Google hat seine Neural Networks auf Stimmerzeugung trainiert und ein neues Verfahren zur Synthetisierung von Sprache erfunden. Die Ergebnisse sind…

algobaby

Algo-Video-Babys are absolutely not creepy, not creepy at all

Total interessantes Paper vom MIT: Generating Videos with Scene Dynamics (via Gene Kogan). Die haben Neural Networks auf Videos trainiert…

poppy

Neural Network Poppy 🙃

Poppy inside the Machine 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂…

enhance1

Zoom & Enhance via Neural Network Super Resolution

Zoom and Enhance in der AI-Variante, ein Neural Network gleicht den Informationsverlust durch Zooming aus. Das Ergebnis ist so mittel,…

acidsupermarkt

Deep Dream-Mutanten im Supermarkt

Mutanten beim Einkaufen. Und dann hat Youtuber Pouff das Video mit Googles DeepDream-Dingens gerendert. Ich glaub', die Mutanten sehen da…