Next Level, photorealistic Style-Transfer

Gepostet vor 3 Monaten, 3 Tagen in #Design #Science #Tech #AI #AlgoCulture #Photoshop #StyleTransfer

Share: Twitter Facebook Mail

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor:

Figure 1: Given a reference style image (a) and an input image (b), we seek to create an output image of the same scene as the input, but with the style of the reference image. The Neural Style algorithm [5] (c) successfully transfers colors, but also introduces distortions that make the output look like a painting, which is undesirable in the context of photo style transfer. In comparison, our result (d) transfers the color of the reference style image equally well while preserving the photorealism of the output.

Ihr Ansatz erzeugt massiv bessere und auch perspektivische Detail-Erhaltung, die in dieser Form zumindest rudimentär auch bereits für professionelle Retusche brauchbar ist, siehe das Ergebnis bei der Skyline hier:

Die Style-Transfer-Apps (wie Prisma letzten Sommer) dürften schon sehr bald sehr viel besser werden und da Adobe ohnehin bereits an der Implementation von Style-Transfer (und der 3D-Variante Stylit) in Photoshop arbeitet, dürfte AI-gestützte Retusche schon sehr bald normales Arbeitswerkzeug sein.

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom CNN layer through which we can backpropagate. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

Floral Algorithm dreams of Dinosaurs

Chris Rodley (Twitter) hat seinen Styletransfer-Bot mit Blumen gefüttert und auf Dinosaurier angesetzt.

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

360° Photogrammetry from abandoned Malls and Basel

„A 360° trip through photogrammed city pieces of Basel.“ „A three-dimensional photogrammetric amalgamation of abandoned shopping malls, digitally reconstructed from…

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Neural Network Genesis Alpha

Douglas Summers hat das erste Buch Genesis der Bibel mit Neural Network Voodoo in Worte übersetzt, die allesamt mit dem…

Algo-Faces reconstruced from Monkey Brainwaves

Vor drei Wochen erst bloggte ich über die visuelle Rekonstruktion von Gedanken anhand von EEG-Aufzeichnungen, mit denen man Neural Networks…

Anti-AI-AI cools your ear when it hears AI-Voices

Nette Spielerei der australischen Kreativagentur DT, ein Wearable-AI-Device mit einem Neural Network, das auf synthetische Stimmen trainiert wurde und das…