Zoom & Enhance via Neural Network Super Resolution

Gepostet vor 5 Monaten, 21 Tagen in #Tech #AI #AlgoCulture #Quantumphysics

Share: Twitter Facebook Mail

enhance1

Zoom and Enhance in der AI-Variante, ein Neural Network gleicht den Informationsverlust durch Zooming aus. Das Ergebnis ist so mittel, wobei ich die Gesichter der Damen in der ersten Zeile jeweils doch recht überzeugend finde. Man muss auch bedenken, dass es hier grade mal um läppische 64x64 Pixel geht.

Image super-resolution through deep learning. This project uses deep learning to upscale 16x16 images by a 4x factor. The resulting 64x64 images display sharp features that are plausible based on the dataset that was used to train the neural net.

Here's an random, non cherry-picked, example of what this network can do. From left to right, the first column is the 16x16 input image, the second one is what you would get from a standard bicubic interpolation, the third is the output generated by the neural net, and on the right is the ground truth.

In anderen Papers arbeiten sie ebenfalls grade an AI-gestütztem verlustfreiem Zoom, beschränken sich dabei aber vor allem auf Muster und Details, der verlustfreie Zoom auf Portraits oder komplette Motive dürfte noch ein bisschen dauern. Nennt sich in den Papers „Super Resolution“ und funktioniert ganz banal runtergebrochen wie ein Fraktal, in das man immer weiter reinzoomt und in dem immer dieselben Muster auftauchen.

zoom2

Papers: 1. Deeply-Recursive Convolutional Network for Image Super-Resolution, 2. Accurate Image Super-Resolution Using Very Deep Convolutional Networks, 3. End-to-End Image Super-Resolution via Deep andShallow Convolutional Networks, 4. Single Image Super-resolution from Transformed Self-Exemplars

Ich könnte mir aber gut vorstellen, dass ein Neural Network, wenn es erstmal mit genug Bildmaterial angelernt wurde, bereits heute recht brauchbare Ergebnisse auch bei Überwachungsbildern ausspuckt. So als Beispiel.

Aber bis dahin dauert das noch ein bisschen und benötigt sicher auch mehr Rechnerpower. Google soll seinen Quantenrechner ja erst nächstes Jahr vorstellen und so ein Rechner verspeist Algorithmen wie die hier angesprochenen zum Frühstück und da haben wir bis Quantum Supremacy ja immerhin noch ein paar Monate Zeit. Vielleicht war das mit der Singularität ja doch gar kein Quatsch.

zoom3 zoom4 zoom5 zoom6

Pix2Pix: Neural Network Katzen-Compositing als Browsertoy

Schönes Spielzeug von Christopher Hesse, der ein Neural Network auf Bild-Paaren trainiert hat und mit dem man nun Katzen, Schuhe…

Automatic Handgun Detection via Machine Learning

The latest Step into an OCP-approved Ed-209-compatible Future: Automatic Handgun Detection Alarm in Videos Using Deep Learning (PDF). Usage Guide:…

ALF-Trump and other algorithmic Abominations

Großartiger neuer Twitter-Feed von Chris Rodley: Algorithmic Horror – Concept art for horror movies generated by an algorithm mit so…

Algorithmic Shape Collages

Interessantes Paper der Uni Hong Kong über automatisierte Shape Collagen (mit geilem Titel auch): Pyramid of Arclength Descriptor for Generating…

Cube-Transformation-Bot

Ganz großartiger Bot von Andrew Heumann: Tweet2Form: The Formalist Tweetbot. Das Teil versteht 11 verschiedene Befehle für 3D-Transformationen, führt die…

Cybernetic Serendipity 1968

Nice Walkthrough for the 1968 Cybernetic Serendipity-Exhibition at the Institute of Contemporary Arts in London. Some cool, early, experimental Machine-Typography…

Der Sünden-Bot

Mein Buddy Gregor macht wieder Unfug mit Tweetie-Bots, diesmal eine Metapher auf die panische Scheindebatte über den Angriff der killeralienmutant…

Google Brain does Zoom & Enhance

Vor grob einem halben Jahr bloggte ich über eine Reihe von Papers, die eine neue AI-Anwendung vorstellten: Image Super-Resolution. Die…

NSA-Powerpoint-Styletransfer: Snowden.ppt

Matthew Plummer-Fernandez hat einen Style-Transfer-Algorithmus auf verschiedene NSA-Powerpoint-Slides trainiert und daraus ein paar Snowden-Portraits generiert: Snowden.ppt. Machine Learning style transfer…

Algorithmic Cyclops

Mario Klingemann trainiert wieder irgendwelche Neural Networks die wieder irgendwelche komischen Sachen generieren. Diesmal hat er ’nen Algorithmus auf vintage…

Hieronymus Bosch dreaming of Sesame Street

Chris Rodley dreht nach dem Trump Clan ein paar klassische Gemälde von Picasso und Hieronymus Bosch durch den Sesamstraßen-Neural-Network-Wolf: