Googles algorithmic Image Captions

Gepostet vor 2 Jahren, 7 Monaten in #Misc #Science #Tech #AI #Google #Language

Share: Twitter Facebook Mail

img

Google experimentiert mit automatisch generierten Bildbeschreibungen: Über ein Convolutional Neural Network (CNN) identifizieren sie zunächst die Objekte im Bild, mit einem Recurrent Neural Network (RNN) bauen sie dann aus diesen Stichwörtern komplette Sätze. Ich freue mich schon auf die Glitches!

imgggPeople can summarize a complex scene in a few words without thinking twice. It’s much more difficult for computers. But we’ve just gotten a bit closer -- we’ve developed a machine-learning system that can automatically produce captions (like the three above) to accurately describe images the first time it sees them. This kind of system could eventually help visually impaired people understand pictures, provide alternate text for images in parts of the world where mobile connections are slow, and make it easier for everyone to search on Google for images.

Google Research: A picture is worth a thousand (coherent) words: building a natural description of images (via Algopop)
Paper: Show and Tell: A Neural Image Caption Generator

[update] Die Stock-Photo-Bude EyeEm hat sich einen Algorithmus zur Bewertung der Ästhetik von Bildern gebastelt: „EyeEm is 'training' its algorithms to identify which photos actually look good. By looking at things like which objects are in focus and blurred, what’s located at each third of a photo, and other identifiers of 'beauty', the ranking algorithms determine an EyeRank of aesthetic quality for each photo and applies an aggregated score to each photographer.“ (Danke Fabian!)

Gun-Emoji Pairings 🔫😶

Interesting analysis of the Gun-Emoji-Pairings: „What does the Gun shoot at?“ and „Who pulls the Trigger?“

3D-Visualized Typography-Ideaspace

Ich habe schon einige AI-Visualisierungen von Fonts gesehen, also sortierte Abbildungen des visuellen Idea-Space der Zeichensätze (also genau wie Skateboards…

The Power of Language

„In this reel, we explore the incredible power of language—written, spoken and performed. First, meet the creator of Game of…

Anthony Burgess lost Dictionary of Slang discovered

Die International Anthony Burgess Foundation in Manchester hat neulich das verlorene Slang-Wörterbuch von Anthony Burgess im Keller gefunden („at the…

Neural Network sorts Vibrators

Sabrina Verhage trainierte ein Neural Network auf Vibratoren und sortierte sie dann nach visuellen Merkmalen wie Farbe, Form, Pimmelrealismus und…

Imaginary People

Mike Tyka bastelt fiktive Gesichter aus zweistufigen Neural Networks: Portraits of imaginary People. Das erste generiert die herkömmlichen Kunstfressen in…

Neural Network dreams your Flesh

Das holländische Radio NPO hat eine eigene Instanz von Christopher Hesses Pix2Pix auf 'nem Server installiert und dort kann man…

Exploring Idea-Space with algorithmic Ableton Novelty Search

In meinem Vortrag (u.a. dieses Wochenende in Offenbach auf dem Bended Realities Festival) rede ich viel über das, was ich…

Artistic Style-Transfer Video-Synthesis

Daniel Sýkora hat ein neues Spielzeug gecoded: Example-Based Synthesis of Stylized Facial Animations. Hier die Ergebnisse: Über Sýkoras StyLit-Technik für…

Neural Network Genesis Alpha

Douglas Summers hat das erste Buch Genesis der Bibel mit Neural Network Voodoo in Worte übersetzt, die allesamt mit dem…

Algo-Faces reconstruced from Monkey Brainwaves

Vor drei Wochen erst bloggte ich über die visuelle Rekonstruktion von Gedanken anhand von EEG-Aufzeichnungen, mit denen man Neural Networks…