AI-Bildbeschreibungen aus visueller Hirnaktivität

Gepostet vor 5 Monaten, 6 Tagen in #Science #Tech #AI #AlgoCulture #Neuroscience

Share: Twitter Facebook Mail

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.

wolf

Algorithm watching Wolf of Wallstreet

Tolles Computervision-Experiment von Støj: An algorithm watching a movie trailer: „A program removing everything but the objects it recognises when…

C2OE_6lXgAEw1Ty

Neural Enhance with creepy artificial Artifacts

Mario Klingemann (Vorher auf NC: Video-Frames sorted by Audio, Typographic Gears) hat einen Algorithmus für künstliche Artefakte gebastelt, die die…

id

Auto-Generated queer 120 Page-Sentence-Identity

Good one from 0x0a: Monologue. Who am I? Can any one answer ever be definitive enough to define oneself? Monologue…

captcha

Miniature-Playground for Captcha-Solving AIs

„I'm not a Robot“ my ass. Mini World of Bits ('MiniWoB') is a benchmark for reinforcement learning agents who interact…

nnnames

Neural Network Names from the Future

Nate Parrott hat ein Neural Network auf 7500 Vornamen trainiert und generiert nun neue Namen aus der Zukunft, inklusive „…

b00a

Text 2 Bird

Neural Networks generieren Vögel aus Textbeschreibungen in 256x256 Pixeln (das nennen AI-Forscher „High Res“, haha). Die Methode sah qualitätsmäßig vor…

Style-Transfer für Audio

Dmitry Ulyanov und Vadim Lebedev mit einem ersten Ansatz für Style Transfer für Audio oder anders formuliert: Neural Network machen…

fly

Fly AI

Installation von David Bowen, in der eine Künstliche Intelligenz/ein Machine Learning-Algorithmus über das Schicksal einer Fliegenkolonie entscheidet. Brundle-Fly is not…

homer

Homer Simpson gezeichnet mit dem Problem des Handlungsreisenden

Jack Morris hat einen Algorithmus programmiert, der ihm Vektorgrafiken und Simpsons in Punktierungen umwandelt und auf diese dann das Problem…

unfoodtruckspecified

Artbot.Space: Twitter-Bot remixt Headlines über algorithmische Kunst

Maria Roszkowska and Nicolas Maigret haben eine Plattform für AI-generierte Konzeptkunst aufgesetzt. Auf Artbot.Space sammelt man die Ergebnisse des Predictive…

A screenshot of New Zealand man Richard Lee's passport photo rejection notice, supplied to Reuters December 7, 2016.   Richard Lee/Handout via REUTERS

„Racist“ Algorithm tells Asian to open his eyes

Ein „rassistischer“ Gesichtserkennungs-Algorithmus verweigert den Passbild-Upload eines Asiaten wegen angeblich geschlossener Augen. Richard Lee's attempt to renew his passport was…