Zoom & Enhance via Neural Network Super Resolution

Gepostet vor 10 Monaten, 19 Tagen in #Tech #AI #AlgoCulture #Quantumphysics

Share: Twitter Facebook Mail

enhance1

Zoom and Enhance in der AI-Variante, ein Neural Network gleicht den Informationsverlust durch Zooming aus. Das Ergebnis ist so mittel, wobei ich die Gesichter der Damen in der ersten Zeile jeweils doch recht überzeugend finde. Man muss auch bedenken, dass es hier grade mal um läppische 64x64 Pixel geht.

Image super-resolution through deep learning. This project uses deep learning to upscale 16x16 images by a 4x factor. The resulting 64x64 images display sharp features that are plausible based on the dataset that was used to train the neural net.

Here's an random, non cherry-picked, example of what this network can do. From left to right, the first column is the 16x16 input image, the second one is what you would get from a standard bicubic interpolation, the third is the output generated by the neural net, and on the right is the ground truth.

In anderen Papers arbeiten sie ebenfalls grade an AI-gestütztem verlustfreiem Zoom, beschränken sich dabei aber vor allem auf Muster und Details, der verlustfreie Zoom auf Portraits oder komplette Motive dürfte noch ein bisschen dauern. Nennt sich in den Papers „Super Resolution“ und funktioniert ganz banal runtergebrochen wie ein Fraktal, in das man immer weiter reinzoomt und in dem immer dieselben Muster auftauchen.

zoom2

Papers: 1. Deeply-Recursive Convolutional Network for Image Super-Resolution, 2. Accurate Image Super-Resolution Using Very Deep Convolutional Networks, 3. End-to-End Image Super-Resolution via Deep andShallow Convolutional Networks, 4. Single Image Super-resolution from Transformed Self-Exemplars

Ich könnte mir aber gut vorstellen, dass ein Neural Network, wenn es erstmal mit genug Bildmaterial angelernt wurde, bereits heute recht brauchbare Ergebnisse auch bei Überwachungsbildern ausspuckt. So als Beispiel.

Aber bis dahin dauert das noch ein bisschen und benötigt sicher auch mehr Rechnerpower. Google soll seinen Quantenrechner ja erst nächstes Jahr vorstellen und so ein Rechner verspeist Algorithmen wie die hier angesprochenen zum Frühstück und da haben wir bis Quantum Supremacy ja immerhin noch ein paar Monate Zeit. Vielleicht war das mit der Singularität ja doch gar kein Quatsch.

zoom3 zoom4 zoom5 zoom6

Cellular Automata Cube

Cubes.io: Conways Game of Life als 3D-Spielzeug mit Cubes und Spheres und Schnickschnack als Evolution-Nullpunkt, von wo aus die ganzen…

Neural Network-Faces synched to Music

„My first attempt to map a song made by @kamptweets onto GAN generated proto-faces.“ Bohemian Rhapsody next. The Three Nightingans.…

AI-Animations with human Sounds

Google vor ein paar Tagen so: „Yay, wir haben hier 'ne neue AI-based Animation-Tech, hooray!“ (Paper) Hayayo Miyazaki über AI-based…

Visual AI-Spaces Auto-Pilot

Ich habe schon ein paar mal über Mario Klingemanns Arbeiten hier gebloggt, derzeit jagt er Neural Networks durch Feedback-Loops und…

Synthesizing Obama from Audio

Im Mai bloggte ich über ein damals noch nicht veröffentlichtes Paper zur SigGraph2017, in dem sie eine Methode für generative…

Generative Pearls

Cool fractal and generative art by Julien Leonard. I dig his explanation from his about-page: „I create algorithms that connect…

Moarph

Mario Klingemann does some weird shit again with CycleGAN Feedback Loops (Neural Networks feeding their results back to each other).…

Floral Algorithm dreams of Dinosaurs

Chris Rodley (Twitter) hat seinen Styletransfer-Bot mit Blumen gefüttert und auf Dinosaurier angesetzt.

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…