Algorithmic Eyeroll

Gepostet vor 11 Monaten, 1 Tag in #Design #Tech #AI #AlgoCulture #Eyes #FaceDetection

Share: Twitter Facebook Mail

5

NeuralNetwork-Fuzzies am Skolkovo Institute of Science and Technology haben eine künstliche Intelligenz darauf trainiert, Bickrichtungen in Bildern zu korrigieren: DeepWarp: Photorealistic ImageResynthesis for Gaze Manipulation. Erinnert an Tom Whites Smile-Vector und ist genau wie seine Arbeit eine (noch) sehr aufwändige Spielerei, die man derzeit (noch) besser mit Photoshop hinbekommt und die (noch) nur bei Stills funktioniert. (via CreativeAI)

In this work, we consider the task of generating highly-realistic images of a given face with a redirected gaze. We treat this problem as a specific instance of conditional image generation, and suggest a new deep architecture that can handle this task very well as revealed by numerical comparison with prior art and a user study. Our deep architecture performs coarse-to-fine warping with an additional intensity correction of individual pixels.

All these operations are performed in a feed-forward manner, and the parameters associated with different operations are learned jointly in the end-to-end fashion. After learning, the resulting neural network can synthesize images with manipulated gaze, while the redirection angle can be selected arbitrarily from a certain range and provided as an input to the network.

[update] Haha, kurz nach Veröffentlichung des Postings rutschte das hier durch meine Timeline, eine Mimik- und Blickrichtungs-Erkennung für VR.

6 gaze1a gaze1

Da es keine Datensätze für Blickrichtungen gibt, haben sie für ihre Arbeit einfach ein paar Testpersonen in eine Clockwork-Orange-Vorrichtung geklemmt und auf einen wandernden Punkt glotzen lassen:

gaze2

There are no publicly available datasets suitable for the purpose of the gaze correction task with continuously varying redirection angle. Therefore, we collect our own dataset Figure 4. To minimize head movement, a person places his head on a special stand and follows with her gaze a moving point on the screen in front of the stand. While the point is moving, we record several images with eyes looking in different fixed directions (about 200 for one video sequence) using a webcam mounted in the middle of the screen. For each person we record 2 − 10 sequences, changing the head pose and light conditions between different sequences. Training pairs are collected, taking two images with different gaze directions from one sequence. We manually exclude bad shots, where a person is blinking or where she is not changing gaze direction monotonically as anticipated. Most of the experiments were done on the dataset of 33 persons and 98 sequences.

1 2 3 4 7

Hier eine non-algorithmische Alternative mit Kinski und Nosferatu vom großartigen Ensalada-Tumblr:

tumblr_mzxbdlxMxW1sa11jco1_500

Floral Algorithm dreams of Dinosaurs

Chris Rodley (Twitter) hat seinen Styletransfer-Bot mit Blumen gefüttert und auf Dinosaurier angesetzt.

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

Human Fetuses prefer „face-like“ Shapes

Vor einer Woche bloggte ich über Gesichter, die man aus den „Gesichtserkennungs-Neuronen“ von Makaken-Affen rekonstruiert hatte. Damals schrieb ich: „Der…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

360° Photogrammetry from abandoned Malls and Basel

„A 360° trip through photogrammed city pieces of Basel.“ „A three-dimensional photogrammetric amalgamation of abandoned shopping malls, digitally reconstructed from…

Awesome Eyeball

Ich muss mir dieses Weiße im Auge ins Blog kleben. Toller Augapfel. (Unknown source, via Archillect)

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Neural Network Genesis Alpha

Douglas Summers hat das erste Buch Genesis der Bibel mit Neural Network Voodoo in Worte übersetzt, die allesamt mit dem…