Neural Network dreams your Dreams

Gepostet vor 1 Monat, 18 Tagen in #Science #Tech #AI #AlgoCulture #Neuroscience

Share: Twitter Facebook Mail

Wissenschaftler können bereits seit Jahren Bilder aus Gehirnscans extrahieren, also: Tatsächlich ein Abbild davon schaffen, was wir sehen. Die Resultate sind natürlich unzureichend und allerhöchstens eine Annäherung, so haben sie beispielsweise vor 5 Jahren Gedanken aus YT-Clips generiert. Seitdem ist die Entwicklung ein wenig ins Stocken geraten, die neueste Entwicklung war die Extraktion von „Gesichtern“ vor rund einem Jahr und bis heute leidet die Technik unter der schlechten Qualität der Ergebnisse.

Enter Neural Networks, die sich ja hervorragend dazu eignen, Muster nachzubauen, grade und vor allem visuelle Muster. Und nun trainieren sie Neural Networks ganz einfach auf Gehirnscans und fragen das NN anschließend: Was siehst Du? Und dieses Ergebnis ist, wie man oben im Bild sieht, sehr viel näher am Ausgangsbild, als alle anderen Technologien zuvor. Die Gedanken sind frei, keiner kann sie erraten.

Paper: Sharing deep generative representation for perceived image reconstruction from human brain activity

Engadget: Neural network learns to reproduce what your brain sees

The team trains its network to recreate images by feeding it the visual cortex scans of someone looking at a picture and asking the network to recreate the original image based on that data. After enough practice, it's off to the races -- the system knows how to correlate voxels (3D pixels) in scans so that it can generate accurate, noise-free images without having to see the original.

You can see the results for yourself in the comparison above. The new technique, DGMM (Deep Generative Multiview Model), is very nearly on par with the source material. Virtually all the other approaches are so imprecise and noisy that many of their results are either difficult to read or just plain wrong.

Floral Algorithm dreams of Dinosaurs

Chris Rodley (Twitter) hat seinen Styletransfer-Bot mit Blumen gefüttert und auf Dinosaurier angesetzt.

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Human Fetuses prefer „face-like“ Shapes

Vor einer Woche bloggte ich über Gesichter, die man aus den „Gesichtserkennungs-Neuronen“ von Makaken-Affen rekonstruiert hatte. Damals schrieb ich: „Der…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

360° Photogrammetry from abandoned Malls and Basel

„A 360° trip through photogrammed city pieces of Basel.“ „A three-dimensional photogrammetric amalgamation of abandoned shopping malls, digitally reconstructed from…

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Neural Network Genesis Alpha

Douglas Summers hat das erste Buch Genesis der Bibel mit Neural Network Voodoo in Worte übersetzt, die allesamt mit dem…

Spider Webs are extended Spider Brains and they suck Insect-Shells

Illu: Sineater for Quantamag Vor ein paar Jahren durchschnitt Hilton Japyassú ein paar der Stränge in den Gebilden von Radnetz-Spinnen,…