Text 2 Bird

Gepostet vor 5 Monaten, 9 Tagen in #Science #Tech #AI #AlgoCulture #Birds

Share: Twitter Facebook Mail

b00a

Neural Networks generieren Vögel aus Textbeschreibungen in 256x256 Pixeln (das nennen AI-Forscher „High Res“, haha). Die Methode sah qualitätsmäßig vor ein paar Monaten noch weitaus schlimmer aus und beschränkte sich oft auf 64x64 Pixel. Wir sind zwar noch ein paar Schritte entfernt von „Siri, generate a Böhmermann in blau and Trump-Hair and make him sing 'Nazi Punks Fuck Off'“, aber das zeichnet sich definitiv bereits am futuristischen Horizont ab. Wenn dann die Fake-Videos mit jedem und allem Youtube flooden, können wir ja nochmal über „Fake-News“ reden. We ain't seen nothing yet.

Paper: StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks (via Procedural Generation)

b1dAbstract:
Synthesizing photo-realistic images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing text-to-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose stacked Generative Adversarial Networks (StackGAN) to generate photo-realistic images conditioned on text descriptions.

The Stage-I GAN sketches the primitive shape and basic colors of the object based on the given text description, yielding Stage-I low resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high resolution images with photorealistic details. The Stage-II GAN is able to rectify defects and add compelling details with the refinement process.

Samples generated by StackGAN are more plausible than those generated by existing approaches. Importantly, our StackGAN for the first time generates realistic 256 × 256 images conditioned on only text descriptions, while state-of-the-art methods can generate at most 128 × 128 images. To demonstrate the effectiveness of the proposed StackGAN, extensive experiments are conducted on
CUB and Oxford-102 datasets, which contain enough object appearance variations and are widely-used for text-toimage generation analysis.

b0 b1 b1a b1b b1c b2 b3

How Computer Vision Is Finally Taking Off

Nat and Friends: „Computer vision is fascinating to me because a) it sounds intriguing and b) it’s a part of…

Deep Dreaming an Art Archive

Tolle Installation des türkischen Künstlers Refik Anadol, der eine künstliche Intelligenz und ihr Machine Learning auf das Archiv des SALT…

Brieftaube mit XTC-Rucksack

In Kuwait haben sie eine Brieftaube mit einem Mini-Rucksack abgefangen, in dem das Tier 178 XTC-Pillen aus dem Irak einschmuggeln…

Neulich in Darmstadt: Das Geile Neue Internet – Potential of (visible) Infinite Idea Space

[update] Hier ein Livestream auf Facebook. Hier der Vortrag auf Youtube. Wer einem sehr nervösen Typen auf einer Bühne beim…

Smile-Filtering a Face until there is no Face left to smile-filter

Gene Kogan: „just in case you were wondering, this is what happens when you repeatedly run FaceApp’s smile filter until…

Neural Network dreams your Dreams

Wissenschaftler können bereits seit Jahren Bilder aus Gehirnscans extrahieren, also: Tatsächlich ein Abbild davon schaffen, was wir sehen. Die Resultate…

Neural Network dreams of riding a Train

Tolle Arbeit von Damien Henry: Ein Neural Network, ein sogenannter „prediction algorithm“, der Frames eines Videos „errät“, ausgehend vom jeweils…

4 AI-Obamas learn Algo-Lipsynch from Audio

Seit ich über die neuen Möglichkeiten von Machine Learning bezüglich Computer Vision und der Generation von Bildern schreibe, vor allem…

Daddy Cthulhu Cumshot: Weird Algo-Poetry from repetitive Cut'n'Paste-Autocomplete

Das LanguageLog hat die „psychedellic“ AI-„Dreaming of“-Technik auf Google Translate angewandt und dort regelmäßige Sprach/Zeichen-Muster („Iä! Iä! Iä! Iä! Iä!…

Tauben bauen Vogelnest aus Heroin-Spritzen

Superintendent Michelle Davey hat in Vancouver ein Taubennest aus Heroin-Spritzen gefunden: „As Vancouver grapples with the opioid crisis, a local…

Neural Networks for Character Control

Daniel Holden, Taku Komura und Jun Saito haben ein Neural Network auf Character-Animationen trainiert, mit dem Figuren in Games und…