A.I.s erzählen Geschichten aus Fotoserien, generieren Bilder aus Text und erzeugen eine Stimme

Gepostet vor 11 Monaten, 17 Tagen in #Misc #Tech #AI #AlgoCulture

Share: Twitter Facebook Mail

Drei hübsche neue AI-Bits, alle via CreativeAI:

1. ein Neural Network, das Stories aus Bilderserien generiert (Paper: Storytelling of Photo Stream with Bidirectional Multi-thread Recurrent Neural Network). Zur Erinnerung: Vor zwei Monaten waren wir noch bei (ziemlich guten) Beschreibungen von Einzelbildern.

ai1 ai2

Visual storytelling aims to generate human-level narrative language (i.e., a natural paragraph with multiple sentences) from a photo streams. A typical photo story consists of a global timeline with multi-thread local storylines, where each storyline occurs in one different scene. Such complex structure leads to large content gaps at scene transitions between consecutive photos. Most existing image/video captioning methods can only achieve limited performance, because the units in traditional recurrent neural networks (RNN) tend to "forget" the previous state when the visual sequence is inconsistent. In this paper, we propose a novel visual storytelling approach with Bidirectional Multi-thread Recurrent Neural Network (BMRNN). First, based on the mined local storylines, a skip gated recurrent unit (sGRU) with delay control is proposed to maintain longer range visual information. Second, by using sGRU as basic units, the BMRNN is trained to align the local storylines into the global sequential timeline. Third, a new training scheme with a storyline-constrained objective function is proposed by jointly considering both global and local matches. Experiments on three standard storytelling datasets show that the BMRNN model outperforms the state-of-the-art methods.

2. So ungefähr das Gegenteil: Ein Neural Network generiert Bilder aus Textbeschreibungen (Paper: Generative Adversarial Text to Image Synthesis). AI-generierte „Fotos“ sind nach wie vor ziemlich LoRes, dürfte noch ein bisschen dauern, bis da wirklich praxistaugliche Ergebnisse bei rauskommen. Es braucht allerdings nicht wenig Vorstellungskraft, um sich vorzustellen, wozu solche Algorithmen in ein paar Jahren in der Lage sind, zum Beispiel „diktierte“ Comics im Stil von Jack Kirby oder „Ey Siri, generier mir mal ’ne Steppenwolf-Verfilmung mit Wolverine in der Hauptrolle.“

ai3 ai4 ai5

Automatic synthesis of realistic images from text would be interesting and useful, but current AI systems are still far from this goal. However, in recent years generic and powerful recurrent neural network architectures have been developed to learn discriminative text feature representations. Meanwhile, deep convolutional generative adversarial networks (GANs) have begun to generate highly compelling images of specific categories such as faces, album covers, room interiors etc. In this work, we develop a novel deep architecture and GAN formulation to effectively bridge these advances in text and image modeling, translating visual concepts from characters to pixels. We demonstrate the capability of our model to generate plausible images of birds and flowers from detailed text descriptions.

3. Ein Neural Network generiert eine Stimme. Hierzu einfach ’nen Kurzfilm von Chris Cunningham vorstellen, am besten Rubber Johnny:

This is a recursive neural network (LSTM type) with 680 neurons and 3 layers trying to find patterns in audio and reproduce them as well as it can. It's not a particularly big network considering the complexity and size of the data, mostly due to computing constraints, which makes me even more impressed with what it managed to do.

The audio that the network was learning from is voice actress Kanematsu Yuka voicing Hinata from Pure Pure. I used 11025 Hz, 8-bit audio because sound files get big quickly, at least compared to text files - 10 minutes already runs to 6.29MB, while that much plain text would take weeks or months for a human to read.

I was using the program "torch-rnn" (https://github.com/jcjohnson/torch-rnn/), which is actually designed to learn from and generate plain text. I wrote a program that converts any data into UTF-8 text and vice-versa, and to my excitement, torch-rnn happily processed that text as if there was nothing unusual.

Heute in Darmstadt: Das Geile Neue Internet – Potential of (visible) Infinite Idea Space

[update] Hier ein Livestream auf Facebook. Heute abend erzähle ich auf dem Webmontag Darmstadt – Born and raised Heiner, gude!…

Smile-Filtering a Face until there is no Face left to smile-filter

Gene Kogan: „just in case you were wondering, this is what happens when you repeatedly run FaceApp’s smile filter until…

Neural Network dreams your Dreams

Wissenschaftler können bereits seit Jahren Bilder aus Gehirnscans extrahieren, also: Tatsächlich ein Abbild davon schaffen, was wir sehen. Die Resultate…

Neural Network dreams of riding a Train

Tolle Arbeit von Damien Henry: Ein Neural Network, ein sogenannter „prediction algorithm“, der Frames eines Videos „errät“, ausgehend vom jeweils…

4 AI-Obamas learn Algo-Lipsynch from Audio

Seit ich über die neuen Möglichkeiten von Machine Learning bezüglich Computer Vision und der Generation von Bildern schreibe, vor allem…

Daddy Cthulhu Cumshot: Weird Algo-Poetry from repetitive Cut'n'Paste-Autocomplete

Das LanguageLog hat die „psychedellic“ AI-„Dreaming of“-Technik auf Google Translate angewandt und dort regelmäßige Sprach/Zeichen-Muster („Iä! Iä! Iä! Iä! Iä!…

Neural Networks for Character Control

Daniel Holden, Taku Komura und Jun Saito haben ein Neural Network auf Character-Animationen trainiert, mit dem Figuren in Games und…

Predictive Policing for Banksters

Schönes Ding von Sam Lavigne, Predictive Policing für Wirtschaftskriminalität im Finanzsektor, 'ne Robocop-App für Bankster. White Collar Crime Risk Zones…

AI Voice-Cloning

Vor ein paar Monate veröffentlichte Google sein WaveNet, ein auf Stimmen trainiertes Neurales Netzwerk mit einem deutlichen Qualitätssprung gegenüber bisherigen…

Neural Network cooks with Cthulhu

Janelle Shane spielt mit Neural Networks rum und hat eins davon auf Lovecraft trainiert. Dann hat sie das Neural Network…

Next Level, photorealistic Style-Transfer

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor: Figure 1:…