AI-Bildbeschreibungen aus visueller Hirnaktivität

Gepostet vor 3 Monaten, 19 Tagen in Science Tech Share: Twitter Facebook Mail

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.

Tags: AI AlgoCulture Neuroscience

algo1

Algorithmic Nicolas Cage/Taylor Swift Face-Swaps

Iryna Korshunova, Wenzhe Shi, Joni Dambre und Lucas Theis haben einen Algorithmus für FaceSwaps programmiert und zur Illustration ihrer Methode…

c1

█ Blackout █ Generative Censorship-Poetry

█ Blackout █ ist Liza Dalys Beitrag zum NaNoGenMo 2016 (National Novel Generation Month, das AlgoPoetry-Äquivalent zum NaNoWriMo), ein Algorithmus…

sat

Neural Network Satellite-Images from Doodles

Invisible Cities, ein Neural Network, das Satellitenbilder aus Gekritzel generiert. Funktioniert so ein bisschen wie Style-Transfer, nur für Satellitenpics. In…

birdsounds

Google A.I. sortiert Vogelgesang

Google hat unter AI-Experiments ’ne Spielwiese für Machine Learning und AI eingerichtet. Ein paar der Experimente kannte ich bereits von…

obama

Adobe Voice-Generator formuliert neue Worte aus Stimmaufnahmen

Adobe hat vor zwei Tagen auf seiner Max Conference neben AI-Schnickschnack für seine CreativeCloud auch ein neues Tool namens VoCo…

AI goes Star Craft

AI goes Star Craft

Google und Blizzard haben gestern auf der BlizzCon eine offizielle Coop angekündigt, die StarCraft (also wohl den Code und damit…

future

Alexa Fishbot

The Future. It's beautiful. who did thispic.twitter.com/Wriy531ALr — 🦃 Wolf ウルフ (@Ouren) November 4, 2016

bildschirmfoto-2016-11-04-um-18-50-29

Once in a Lifetime-Bot ❤️

Not the same as it ever was: Der Tweetie-Bot How Did I Get Here? von Botferatu, der Lyrics für Talking…

mixed_font

Neural Style Transfer für chinesische Fonts

Interessanter Ansatz für Type-Design: Neural Style Transfer For Chinese Fonts. (via Samim) Bei der Gestaltung von chinesischen Fonts müssen zehntausende…

banklobby_example

Neural Enhance getting sharp

Neues von AI-basiertem Zoom & Enhance (Vorher auf NC: Zoom & Enhance via Neural Network Super Resolution, Neural Network Super…

bildschirmfoto-2016-11-02-um-15-31-50

Ein algorithmisches Tagebuch aller Zeiten

Gestern startete der Algo-Literatur-Wettbewerb National Novel Generation Month 2016 mit jetzt bereits rund 80 eingereichten Robot-Text-Projekten und nach einem Tag…