AI-Bildbeschreibungen aus visueller Hirnaktivität

Gepostet vor 7 Monaten, 14 Tagen in #Science #Tech #AI #AlgoCulture #Neuroscience

Share: Twitter Facebook Mail

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.

Next Level, photorealistic Style-Transfer

In ihrem neuen Paper stellen Fujun Luan, Sylvain Paris, Eli Shechtman und Kavita Bala eine neue Style-Transfer-Methode vor: Figure 1:…

Blacked Out Censorship-Poetry Generator

Schöne Spielerei von Max Kreminski, ein JS-Droplet, das Websites in Blacked Out Poetry verwandelt, basierend auf Liza Dalys █ Blackout…

This Bot kills Fascists

So-So-Working-Object-Detection-Algorithm + Woodie Guthrie = Fascists.exe | „This bot kills fascists“.

„Alexa? Are you connected to the CIA?“

„I always try to tell the truth.“ This reminds me of those Guilty-Dog-Videos:

Palm Generator

Es sollte mehr entspannte Algorithmen mit Urlaubs-Attitüde geben wie den hier: „The Palm Generator is a Three.js module to create…

AI Brainscans

Graphcore aus Bristol visualisieren künstliche Intelligenzen und Neural Networks: Inside an AI 'brain' - What does machine learning look like?…

A Banana Keytar and more from Stupid Hackathon: Inverted Eyetracker-Pong, Robot Porn Addict or the Shitty Sharpie Tattoo Gun)

Ein weiterer Fav vom Stupid Hackathon NYC 2017, die Banana-Keytar von Amanda Lange. Auch geil: der Twitter-Bot Robot Porn Addiction,…

Fotorealistische Pics aus der Gameboy-Camera

Roland Meertens generiert fotorealistische Farbbilder aus den Pics der Gameboy-Camera: Creating photorealistic images with neural networks and a Gameboy Camera.…

Pix2Pix: Neural Network Katzen-Compositing als Browsertoy

Schönes Spielzeug von Christopher Hesse, der ein Neural Network auf Bild-Paaren trainiert hat und mit dem man nun Katzen, Schuhe…

Automatic Handgun Detection via Machine Learning

The latest Step into an OCP-approved Ed-209-compatible Future: Automatic Handgun Detection Alarm in Videos Using Deep Learning (PDF). Usage Guide:…

ALF-Trump and other algorithmic Abominations

Großartiger neuer Twitter-Feed von Chris Rodley: Algorithmic Horror – Concept art for horror movies generated by an algorithm mit so…