AI-Bildbeschreibungen aus visueller Hirnaktivität

Gepostet vor 6 Monaten, 12 Tagen in #Science #Tech #AI #AlgoCulture #Neuroscience

Share: Twitter Facebook Mail

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.

Pix2Pix: Neural Network Katzen-Compositing als Browsertoy

Schönes Spielzeug von Christopher Hesse, der ein Neural Network auf Bild-Paaren trainiert hat und mit dem man nun Katzen, Schuhe…

Automatic Handgun Detection via Machine Learning

The latest Step into an OCP-approved Ed-209-compatible Future: Automatic Handgun Detection Alarm in Videos Using Deep Learning (PDF). Usage Guide:…

ALF-Trump and other algorithmic Abominations

Großartiger neuer Twitter-Feed von Chris Rodley: Algorithmic Horror – Concept art for horror movies generated by an algorithm mit so…

Algorithmic Shape Collages

Interessantes Paper der Uni Hong Kong über automatisierte Shape Collagen (mit geilem Titel auch): Pyramid of Arclength Descriptor for Generating…

Cube-Transformation-Bot

Ganz großartiger Bot von Andrew Heumann: Tweet2Form: The Formalist Tweetbot. Das Teil versteht 11 verschiedene Befehle für 3D-Transformationen, führt die…

Cybernetic Serendipity 1968

Nice Walkthrough for the 1968 Cybernetic Serendipity-Exhibition at the Institute of Contemporary Arts in London. Some cool, early, experimental Machine-Typography…

Der Sünden-Bot

Mein Buddy Gregor macht wieder Unfug mit Tweetie-Bots, diesmal eine Metapher auf die panische Scheindebatte über den Angriff der killeralienmutant…

Google Brain does Zoom & Enhance

Vor grob einem halben Jahr bloggte ich über eine Reihe von Papers, die eine neue AI-Anwendung vorstellten: Image Super-Resolution. Die…

NSA-Powerpoint-Styletransfer: Snowden.ppt

Matthew Plummer-Fernandez hat einen Style-Transfer-Algorithmus auf verschiedene NSA-Powerpoint-Slides trainiert und daraus ein paar Snowden-Portraits generiert: Snowden.ppt. Machine Learning style transfer…

Algorithmic Cyclops

Mario Klingemann trainiert wieder irgendwelche Neural Networks die wieder irgendwelche komischen Sachen generieren. Diesmal hat er ’nen Algorithmus auf vintage…

Hieronymus Bosch dreaming of Sesame Street

Chris Rodley dreht nach dem Trump Clan ein paar klassische Gemälde von Picasso und Hieronymus Bosch durch den Sesamstraßen-Neural-Network-Wolf: