Next Level, photorealistic Style-Transfer

Gepostet vor 4 Monaten, 30 Tagen in #Design #Science #Tech #AI #AlgoCulture #Photoshop #StyleTransfer

Share: Twitter Facebook Mail

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor:

Figure 1: Given a reference style image (a) and an input image (b), we seek to create an output image of the same scene as the input, but with the style of the reference image. The Neural Style algorithm [5] (c) successfully transfers colors, but also introduces distortions that make the output look like a painting, which is undesirable in the context of photo style transfer. In comparison, our result (d) transfers the color of the reference style image equally well while preserving the photorealism of the output.

Ihr Ansatz erzeugt massiv bessere und auch perspektivische Detail-Erhaltung, die in dieser Form zumindest rudimentär auch bereits für professionelle Retusche brauchbar ist, siehe das Ergebnis bei der Skyline hier:

Die Style-Transfer-Apps (wie Prisma letzten Sommer) dürften schon sehr bald sehr viel besser werden und da Adobe ohnehin bereits an der Implementation von Style-Transfer (und der 3D-Variante Stylit) in Photoshop arbeitet, dürfte AI-gestützte Retusche schon sehr bald normales Arbeitswerkzeug sein.

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom CNN layer through which we can backpropagate. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

Algorithmic Image-Watermark Remover

Google hat ein neues Paper über die automatische Entfernung von Wasserzeichen in Pics, netterweise nennen sie das Paper „On the…

10 PRINT CHR$ (205.5 + RND (1)); on a Commodore Pet

10 PRINT CHR$ (205.5 + RND (1)); 20 GOTO 10 ist sowas wie ein Miniatur-Programm in Basic für Generative Graphics,…

DeepMind releases StarCraft AI

Google und Blizzard haben ihre StarCraft AI veröffentlicht: Testing our agents in games that are not specifically designed for AI…

Self-Driving Cars hacked with Love and Hate

Wissenschaftler der Uni Washington haben die Computer-Vision-Systeme von selbstfahrenden Autos gehackt – indem sie Love und Hate in colorierten Pixelfonts auf…

Cellular Automata Cube

Cubes.io: Conways Game of Life als 3D-Spielzeug mit Cubes und Spheres und Schnickschnack als Evolution-Nullpunkt, von wo aus die ganzen…

Neural Network-Faces synched to Music

„My first attempt to map a song made by @kamptweets onto GAN generated proto-faces.“ Bohemian Rhapsody next. The Three Nightingans.…

Die AFD auf dem Mond

Mein Buddy Gregor Weichbrodt hat „Personen und Objekte der 'Alternative für Deutschland' in die Schwarzweißfotografien der Apollo-Mondmissionen“ geshoppt und die…

AI-Animations with human Sounds

Google vor ein paar Tagen so: „Yay, wir haben hier 'ne neue AI-based Animation-Tech, hooray!“ (Paper) Hayayo Miyazaki über AI-based…

Visual AI-Spaces Auto-Pilot

Ich habe schon ein paar mal über Mario Klingemanns Arbeiten hier gebloggt, derzeit jagt er Neural Networks durch Feedback-Loops und…

Synthesizing Obama from Audio

Im Mai bloggte ich über ein damals noch nicht veröffentlichtes Paper zur SigGraph2017, in dem sie eine Methode für generative…

Abandoned Popculture-Megastructures

Lovely renderings by Filip Hodas (Instagram, Behance, Prints at Society6). I especially dig the giant Pacman-Wrecking-Ball and the abandoned Bender-Head.