Neural Network dreams your Dreams

Wissenschaftler können bereits seit Jahren Bilder aus Gehirnscans extrahieren, also: Tatsächlich ein Abbild davon schaffen, was wir sehen. Die Resultate sind natürlich unzureichend und allerhöchstens eine Annäherung, so haben sie beispielsweise vor 5 Jahren Gedanken aus YT-Clips generiert. Seitdem ist die Entwicklung ein wenig ins Stocken geraten, die neueste Entwicklung war die Extraktion von „Gesichtern“ vor rund einem Jahr und bis heute leidet die Technik unter der schlechten Qualität der Ergebnisse.

Enter Neural Networks, die sich ja hervorragend dazu eignen, Muster nachzubauen, grade und vor allem visuelle Muster. Und nun trainieren sie Neural Networks ganz einfach auf Gehirnscans und fragen das NN anschließend: Was siehst Du? Und dieses Ergebnis ist, wie man oben im Bild sieht, sehr viel näher am Ausgangsbild, als alle anderen Technologien zuvor. Die Gedanken sind frei, keiner kann sie erraten.

Paper: Sharing deep generative representation for perceived image reconstruction from human brain activity

Engadget: Neural network learns to reproduce what your brain sees

The team trains its network to recreate images by feeding it the visual cortex scans of someone looking at a picture and asking the network to recreate the original image based on that data. After enough practice, it's off to the races -- the system knows how to correlate voxels (3D pixels) in scans so that it can generate accurate, noise-free images without having to see the original.

You can see the results for yourself in the comparison above. The new technique, DGMM (Deep Generative Multiview Model), is very nearly on par with the source material. Virtually all the other approaches are so imprecise and noisy that many of their results are either difficult to read or just plain wrong.