Neural Network dreams your Dreams

Gepostet vor 3 Monaten, 14 Tagen in #Science #Tech #AI #AlgoCulture #Neuroscience

Share: Twitter Facebook Mail

Wissenschaftler können bereits seit Jahren Bilder aus Gehirnscans extrahieren, also: Tatsächlich ein Abbild davon schaffen, was wir sehen. Die Resultate sind natürlich unzureichend und allerhöchstens eine Annäherung, so haben sie beispielsweise vor 5 Jahren Gedanken aus YT-Clips generiert. Seitdem ist die Entwicklung ein wenig ins Stocken geraten, die neueste Entwicklung war die Extraktion von „Gesichtern“ vor rund einem Jahr und bis heute leidet die Technik unter der schlechten Qualität der Ergebnisse.

Enter Neural Networks, die sich ja hervorragend dazu eignen, Muster nachzubauen, grade und vor allem visuelle Muster. Und nun trainieren sie Neural Networks ganz einfach auf Gehirnscans und fragen das NN anschließend: Was siehst Du? Und dieses Ergebnis ist, wie man oben im Bild sieht, sehr viel näher am Ausgangsbild, als alle anderen Technologien zuvor. Die Gedanken sind frei, keiner kann sie erraten.

Paper: Sharing deep generative representation for perceived image reconstruction from human brain activity

Engadget: Neural network learns to reproduce what your brain sees

The team trains its network to recreate images by feeding it the visual cortex scans of someone looking at a picture and asking the network to recreate the original image based on that data. After enough practice, it's off to the races -- the system knows how to correlate voxels (3D pixels) in scans so that it can generate accurate, noise-free images without having to see the original.

You can see the results for yourself in the comparison above. The new technique, DGMM (Deep Generative Multiview Model), is very nearly on par with the source material. Virtually all the other approaches are so imprecise and noisy that many of their results are either difficult to read or just plain wrong.

Algorithmic Image-Watermark Remover

Google hat ein neues Paper über die automatische Entfernung von Wasserzeichen in Pics, netterweise nennen sie das Paper „On the…

10 PRINT CHR$ (205.5 + RND (1)); on a Commodore Pet

10 PRINT CHR$ (205.5 + RND (1)); 20 GOTO 10 ist sowas wie ein Miniatur-Programm in Basic für Generative Graphics,…

DeepMind releases StarCraft AI

Google und Blizzard haben ihre StarCraft AI veröffentlicht: Testing our agents in games that are not specifically designed for AI…

Self-Driving Cars hacked with Love and Hate

Wissenschaftler der Uni Washington haben die Computer-Vision-Systeme von selbstfahrenden Autos gehackt – indem sie Love und Hate in colorierten Pixelfonts auf…

Cellular Automata Cube

Cubes.io: Conways Game of Life als 3D-Spielzeug mit Cubes und Spheres und Schnickschnack als Evolution-Nullpunkt, von wo aus die ganzen…

Neural Network-Faces synched to Music

„My first attempt to map a song made by @kamptweets onto GAN generated proto-faces.“ Bohemian Rhapsody next. The Three Nightingans.…

AI-Animations with human Sounds

Google vor ein paar Tagen so: „Yay, wir haben hier 'ne neue AI-based Animation-Tech, hooray!“ (Paper) Hayayo Miyazaki über AI-based…

Visual AI-Spaces Auto-Pilot

Ich habe schon ein paar mal über Mario Klingemanns Arbeiten hier gebloggt, derzeit jagt er Neural Networks durch Feedback-Loops und…

Synthesizing Obama from Audio

Im Mai bloggte ich über ein damals noch nicht veröffentlichtes Paper zur SigGraph2017, in dem sie eine Methode für generative…

Generative Pearls

Cool fractal and generative art by Julien Leonard. I dig his explanation from his about-page: „I create algorithms that connect…

Moarph

Mario Klingemann does some weird shit again with CycleGAN Feedback Loops (Neural Networks feeding their results back to each other).…