Realtime-„Mindreading“ with Neural Networks

Vor einem halben Jahr nutze man Neural Networks zur Interpretation von MRI-Scans, mit deren Hilfe man sehr viel besser abbilden konnte, was andere Menschen sehen. Das geht prinzipiell schon seit ein paar Jahren, 2011 hatten sie Bildinformationen von Youtube-Videos direkt aus dem Hirn abgegriffen und genau diese „Mindreading“-Technik haben sie jetzt mit Neural Networks aktualisiert, im Video erzählt er, dass sie damit nun Bildinformationen in Beinahe-Echtzeit generieren können.

Kurzweil.ai: Researchers watch video images people are seeing, decoded from their fMRI brain scans in near-real-time

Die Bilder im Video dürften selbstverständlich nicht dem echten inneren visuellen Bild entsprechen, dass der Hirngescannte da vor dem inneren Auge sieht – das aber ist schlichtweg eine Frage des Umfangs der Trainings-Daten, da könnte in den kommenden Jahren einiges gehen.

To decode the fMRI images, the research pioneered the use of a deep-learning technique called a convolutional neural network (CNN). The trained CNN model was able to accurately decode the fMRI blood-flow data to identify specific image categories (such as the face, bird, ship, and scene examples in the above figure). The researchers could compare (in near-real-time) these viewed video images side-by-side with the computer’s visual interpretation of what the person’s brain saw.

The researchers were also able to figure out how certain locations in the visual cortex were associated with specific information a person was seeing.

CNNs have been used to recognize faces and objects, and to study how the brain processes static images and other visual stimuli. But the new findings represent the first time CNNs have been used to see how the brain processes videos of natural scenes. This is “a step toward decoding the brain while people are trying to make sense of complex and dynamic visual surroundings,” said doctoral student Haiguang Wen.