AI-Bildbeschreibungen aus visueller Hirnaktivität

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.