4 AI-Obamas learn Algo-Lipsynch from Audio

Gepostet vor 1 Monat, 20 Tagen in #Design #Tech #AI #AlgoCulture #Audio #CGI #Fake #FakeNews #Photoshop

Share: Twitter Facebook Mail

Seit ich über die neuen Möglichkeiten von Machine Learning bezüglich Computer Vision und der Generation von Bildern schreibe, vor allem bei Projekten wie Face2Face oder dem Adobe Voice-Generator, schreibe ich in kurzen, halbironischen Sätzen oft dazu, dass wir uns bald von unserer Realität verabschieden können und das FakeNews-Problem von 2016 nur den Auftakt darstellte.

Gestern postete die SigGraph Konferenz ihr 2017er Paper-Video. Darin stellen sie die neuesten Entwicklungen im Bereich des CGI (Computer-Generated Imagery) dar. Ich poste diese Videos regelmäßig, it's my thing. Im neuen Clip stellen sie jede Menge neuer Technologien vor, und eine davon lies mir grade die Kinnlade auf den Schreibtisch knallen.

Ab Minute 1:25 stellen sie das Paper „Synthesizing Obama: Learning Lip synch from Audio“ (noch nicht online, wenn das auftaucht, mach ich nochmal was dazu).

Die haben aus Sprach-Audiofiles (!) vier verschiedene Obama-Videos generiert, die exakt zu den gesprochenen Worten gesyncht sind. Die Videoqualität ist mindblowing (ich habe das alte Face2Face-Video unten nochmal dazu gepackt zum Vergleich) und nicht mehr weit vom Fotorealismus (müsste man sich näher anschauen) entfernt. Die Bewegungen sind flüssig und vor allem: Sie sehen denen von Obama zum verwechseln ähnlich. Vergleicht die Qualität von 2017 mit dem vom März 2016 (Video unten). Da liegen ganze Realitäten dazwischen.

Das heisst, in nur wenigen Monaten werden wir die Möglichkeit haben, mit Adobe Audio eine Aufnahme von Trumps Kriegserklärung an Nordkorea zu generieren und per AI in ein täuschend echtes Video zu verwandeln.

Ich kann mich nur wiederholen: Fuck FakeNews. We ain't seen nothing yet.

Floral Algorithm dreams of Dinosaurs

Chris Rodley (Twitter) hat seinen Styletransfer-Bot mit Blumen gefüttert und auf Dinosaurier angesetzt.

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

360° Photogrammetry from abandoned Malls and Basel

„A 360° trip through photogrammed city pieces of Basel.“ „A three-dimensional photogrammetric amalgamation of abandoned shopping malls, digitally reconstructed from…

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Perpetual Path

Perpetual Path, Kurzfilm von Maxim Zhestkov über „the dialogue and tension between nature and technology, sound and silence, organic and…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Neural Network Genesis Alpha

Douglas Summers hat das erste Buch Genesis der Bibel mit Neural Network Voodoo in Worte übersetzt, die allesamt mit dem…

Algo-Faces reconstruced from Monkey Brainwaves

Vor drei Wochen erst bloggte ich über die visuelle Rekonstruktion von Gedanken anhand von EEG-Aufzeichnungen, mit denen man Neural Networks…