Text 2 Bird

Gepostet vor 7 Monaten, 4 Tagen in #Science #Tech #AI #AlgoCulture #Birds

Share: Twitter Facebook Mail

b00a

Neural Networks generieren Vögel aus Textbeschreibungen in 256x256 Pixeln (das nennen AI-Forscher „High Res“, haha). Die Methode sah qualitätsmäßig vor ein paar Monaten noch weitaus schlimmer aus und beschränkte sich oft auf 64x64 Pixel. Wir sind zwar noch ein paar Schritte entfernt von „Siri, generate a Böhmermann in blau and Trump-Hair and make him sing 'Nazi Punks Fuck Off'“, aber das zeichnet sich definitiv bereits am futuristischen Horizont ab. Wenn dann die Fake-Videos mit jedem und allem Youtube flooden, können wir ja nochmal über „Fake-News“ reden. We ain't seen nothing yet.

Paper: StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks (via Procedural Generation)

b1dAbstract:
Synthesizing photo-realistic images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing text-to-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose stacked Generative Adversarial Networks (StackGAN) to generate photo-realistic images conditioned on text descriptions.

The Stage-I GAN sketches the primitive shape and basic colors of the object based on the given text description, yielding Stage-I low resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high resolution images with photorealistic details. The Stage-II GAN is able to rectify defects and add compelling details with the refinement process.

Samples generated by StackGAN are more plausible than those generated by existing approaches. Importantly, our StackGAN for the first time generates realistic 256 × 256 images conditioned on only text descriptions, while state-of-the-art methods can generate at most 128 × 128 images. To demonstrate the effectiveness of the proposed StackGAN, extensive experiments are conducted on
CUB and Oxford-102 datasets, which contain enough object appearance variations and are widely-used for text-toimage generation analysis.

b0 b1 b1a b1b b1c b2 b3

Cellular Automata Cube

Cubes.io: Conways Game of Life als 3D-Spielzeug mit Cubes und Spheres und Schnickschnack als Evolution-Nullpunkt, von wo aus die ganzen…

Neural Network-Faces synched to Music

„My first attempt to map a song made by @kamptweets onto GAN generated proto-faces.“ Bohemian Rhapsody next. The Three Nightingans.…

AI-Animations with human Sounds

Google vor ein paar Tagen so: „Yay, wir haben hier 'ne neue AI-based Animation-Tech, hooray!“ (Paper) Hayayo Miyazaki über AI-based…

Ravens plan for the Future

Neue Studie zu den Raven Overlords: Man hat festgestellt, dass Raben nicht nur einfache Maschinen bedienen können, sondern auch alternative…

Visual AI-Spaces Auto-Pilot

Ich habe schon ein paar mal über Mario Klingemanns Arbeiten hier gebloggt, derzeit jagt er Neural Networks durch Feedback-Loops und…

Synthesizing Obama from Audio

Im Mai bloggte ich über ein damals noch nicht veröffentlichtes Paper zur SigGraph2017, in dem sie eine Methode für generative…

Gottesanbeterinnen fressen Kolibri-Gehirn aus Kolibri-Augenhölen

Gottesanbeterinnen sind tolle Insekten mit ihrem weirden Kopf und den seltsamen Armen und auch wenn The Deadly Mantis von 1957…

Dogbirds

Reddits Dogbirds habe been Vinyltoy'd by korean design studio Thirdstage, all 4 here for 50 bucks, single Dogbirds available here…

Generative Pearls

Cool fractal and generative art by Julien Leonard. I dig his explanation from his about-page: „I create algorithms that connect…

Birds fight Parasites with Cigarettes

Finken verbauen Kippen und die Fasern in den Filtern in ihre Nester, um sie mit den darin enthaltenen Chemikalien gegen…

Moarph

Mario Klingemann does some weird shit again with CycleGAN Feedback Loops (Neural Networks feeding their results back to each other).…