AI-Bildbeschreibungen aus visueller Hirnaktivität

Gepostet vor 1 Monat, 13 Tagen in Science Tech Share: Twitter Facebook Mail

brain1

Wissenschaftler aus Japan haben Bildbeschreibungen aus Brainscans generiert. Probanden hatten sich in Experimenten visuelle Stimuli (aka Pics) angeschaut, ein auf Brainscans trainiertes Neural Network hat dann daraus Bildbeschreibungen generiert. Ganz ähnlich wie die algorithmischen Bildunterschriften, an denen seit ein paar Jahren gearbeitet wird, nur halt über Bande mit Brainscans.

umbrellaDa Menschen oft und manche tatsächlich exklusiv visuell denken, sind wir hiermit mal wieder total deep in Mindreading-Territorium, zuletzt hatten sie Gesichter aus Brainscans rekonstruiert. Die Ergebnisse (Bild rechts) sind leider/zum Glück noch eher so mittelbefriedigend und lassen viel Luft nach oben. Die Gedanken sind also – zumindest noch für eine Weile – frei.

Die Studie wurde auf dem 54sten Treffen der Computerlinguisten in Berlin vor ein paar Tagen vorgestellt, hier das PDF: Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity, hier noch ein PDF mit allen vorgestellten Studien, jede Menge hochinteressantes Zeug dabei.

Quantitative analysis of human brain activity based on language representations, such as the semantic categories of words, have been actively studied in the field of brain and neuroscience. Our study aims to generate natural language descriptions for human brain activation phenomena caused by visual stimulus by employing deep learning methods, which have gained interest as an effective approach to automatically describe natural language expressions for various type of multi-modal information, such as images. We employed an image-captioning system based on a deep learning framework as the basis for our method by learning the relationship between the brain activity data and the features of an intermediate expression of the deep neural network owing to lack of training brain data. We conducted three experiments and were able to generate natural language sentences which enabled us to quantitatively interpret brain activity.

Tags: AI AlgoCulture Neuroscience

deep2

Epic 2016: Facebook, Amazon, Google, IBM und Microsoft gründen AI-Partnerschaft

Facebook, Amazon, Google, IBM und Microsoft arbeiten zukünftig gemeinsam unter dem Label Partnership on AI an Künstlichen Intelligenzen. Zunächst werden…

face

Neural Network Facemorphs

Hübsche Spielerei mit AI-Gesichtern von Michael Flynn: Generating Faces with Deconvolution Networks. Letztlich „nur“ eine animierte Version von den bekannten…

stfu

Conversation AI: Googles algorithmischer Troll-Filter triggert 4chan

Nachdem Yahoo vor ein paar Wochen seinen Anti-Troll-Algorithmus vorgestellt hatte, schreibt Wired nun über Googles Jigsaw-Abteilung, die an einem AI-Tool…

floete

Ausgerechnete Drachen-Flöten aus dem 3D-Drucker

I want my Octopus-Flute NAO! „This paper presents an interactive design interface for three-dimensional free-form musical wind instruments.“ The sound…

nne

Neural Network Bild-Retusche

Andrew Brock hat einen Foto-Editor mit AI-Retusche programmiert, hier auf Github, da das Paper. Alles noch im experimentellen Stadium, wie…

beatles

AI-composed „Beatles-Song“

Sony hat seine künstliche Intelligenz auf verschiedene Komponisten trainiert und die spuckt jetzt Song-Bausteine im Stil von [you name it]…

enhance

Neural Network Super Resolution getting good, fast

Neulich bloggte ich über die K.I.-Version der Zoom & Enhance-Meme und meinte noch, das seien ja nur 64x64 Pixel und…

netw

Neural Network Compositing

Adobe Research und die Uni Berkley arbeiten an Retusche und Compositing via Machine Learning. Die Ergebnisse sind zwar beeindruckend, aber…

sam

Google WaveNet: Neural Network-generated Text-2-Speech

Google hat seine Neural Networks auf Stimmerzeugung trainiert und ein neues Verfahren zur Synthetisierung von Sprache erfunden. Die Ergebnisse sind…

algobaby

Algo-Video-Babys are absolutely not creepy, not creepy at all

Total interessantes Paper vom MIT: Generating Videos with Scene Dynamics (via Gene Kogan). Die haben Neural Networks auf Videos trainiert…

poppy

Neural Network Poppy 🙃

Poppy inside the Machine 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂 🙃 🙂…