Google Brain does Zoom & Enhance

Gepostet vor 2 Monaten, 21 Tagen in #Science #Tech #AI #AlgoCulture

Share: Twitter Facebook Mail

gggg

Vor grob einem halben Jahr bloggte ich über eine Reihe von Papers, die eine neue AI-Anwendung vorstellten: Image Super-Resolution. Die ermöglichte es theoretisch, in extrem grob aufgelöste Bilder „hinein zu zoomen“. Was ja aus Prinzip nicht gehen sollte, da man keine Bild-Information aus dem Nichts erschaffen kann. Neural Networks werden hier jetzt mit jeder Menge Bild-Material gefüttert und die errechnen nun während des „Zooms“ die wahrscheinlichsten Muster/Pixelanordnungen.

Googles AI-Abteilung Brain hat nun praktisch dasselbe gemacht und die Ergebnisse unterscheiden sich nicht wesentlich vom Stand 09/2016, auch Google erzeugt „nur“ annehmbare Ergebnisse für einen vierfachen Zoom-Faktor (im September 2016 zoomten sie 16x16 Pixel-Pics auf 64x64 Pixel, Google zoomt 8x8 Pixel auf 32x32 Pixel), wobei die Verbesserungen in Googles Verfahren anscheinend vor allem im Detail (Randbereiche der Bilder) zu finden sind.

gb1ArsTechnica: Google Brain super-resolution image tech makes “zoom, enhance!” real

The first part, the conditioning network, tries to map the the 8×8 source image against other high resolution images. It downsizes other high-res images to 8×8 and tries to make a match.

The second part, the prior network, uses an implementation of PixelCNN to try and add realistic high-resolution details to the 8×8 source image. Basically, the prior network ingests a large number of high-res real images—of celebrities and bedrooms in this case. Then, when the source image is upscaled, it tries to add new pixels that match what it "knows" about that class of image. For example, if there's a brown pixel towards the top of the image, the prior network might identify that as an eyebrow: so, when the image is scaled up, it might fill in the gaps with an eyebrow-shaped collection of brown pixels.

To create the final super-resolution image, the outputs from the two neural networks are mashed together. The end result usually contains the plausible addition of new details.

Neural Enhance auf Nerdcore: Neural Enhance with creepy artificial Artifacts, Neural Enhance getting sharp, Zoom & Enhance via Neural Network Super Resolution

Paper: Pixel Recursive Super Resolution (PDF)

Abstract: We present a pixel recursive super resolution model that synthesizes realistic details into images while enhancing their resolution. A low resolution image may correspond to multiple plausible high resolution images, thus modeling the super resolution process with a pixel independent conditional model often results in averaging different details – hence blurry edges. By contrast, our model is able to represent a multimodal conditional distribution by properly modeling the statistical dependencies among the high resolution image pixels, conditioned on a low resolution input. We employ a PixelCNN architecture to define a strong prior over natural images and jointly optimize this prior with a deep conditioning convolutional network. Human evaluations indicate that samples from our proposed model look more photo realistic than a strong L2 regression baseline.

goog goog2 goog3 goog4 goog5

Predictive Policing for Banksters

Schönes Ding von Sam Lavigne, Predictive Policing für Wirtschaftskriminalität im Finanzsektor, 'ne Robocop-App für Bankster. White Collar Crime Risk Zones…

AI Voice-Cloning

Vor ein paar Monate veröffentlichte Google sein WaveNet, ein auf Stimmen trainiertes Neurales Netzwerk mit einem deutlichen Qualitätssprung gegenüber bisherigen…

Neural Network cooks with Cthulhu

Janelle Shane spielt mit Neural Networks rum und hat eins davon auf Lovecraft trainiert. Dann hat sie das Neural Network…

Next Level, photorealistic Style-Transfer

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor: Figure 1:…

Blacked Out Censorship-Poetry Generator

Schöne Spielerei von Max Kreminski, ein JS-Droplet, das Websites in Blacked Out Poetry verwandelt, basierend auf Liza Dalys █ Blackout…

This Bot kills Fascists

So-So-Working-Object-Detection-Algorithm + Woodie Guthrie = Fascists.exe | „This bot kills fascists“.

„Alexa? Are you connected to the CIA?“

„I always try to tell the truth.“ This reminds me of those Guilty-Dog-Videos:

Palm Generator

Es sollte mehr entspannte Algorithmen mit Urlaubs-Attitüde geben wie den hier: „The Palm Generator is a Three.js module to create…

AI Brainscans

Graphcore aus Bristol visualisieren künstliche Intelligenzen und Neural Networks: Inside an AI 'brain' - What does machine learning look like?…

A Banana Keytar and more from Stupid Hackathon: Inverted Eyetracker-Pong, Robot Porn Addict or the Shitty Sharpie Tattoo Gun)

Ein weiterer Fav vom Stupid Hackathon NYC 2017, die Banana-Keytar von Amanda Lange. Auch geil: der Twitter-Bot Robot Porn Addiction,…

Fotorealistische Pics aus der Gameboy-Camera

Roland Meertens generiert fotorealistische Farbbilder aus den Pics der Gameboy-Camera: Creating photorealistic images with neural networks and a Gameboy Camera.…