Können wir bald Gedanken lesen? Neue Studie entschlüsselt Bilder der Gehirnaktivität, um Wörter – und Bedeutung – zu extrahieren

Aus technologischer Sicht wird es immer realistischer, sich eine Entschlüsselung der Gedanken der Menschen vorzustellen. Zum ersten Mal konnten Neurowissenschaftler nichtinvasive Bilddaten aus den Gehirnen von drei Teilnehmern „entschlüsseln“, um Wortfolgen und die Gesamtbedeutung von Geschichten zu rekonstruieren, die die Teilnehmer gehört, gesehen oder sich vorgestellt hatten.

In dieser neuen Studie, veröffentlicht in Nature NeuroscienceAlexander Huth und seinen Kollegen von der University of Texas gelang es, aus Bildern der Gehirnaktivität, die durch funktionelle Magnetresonanztomographie (oder funktionelle MRT) gewonnen wurden, die Gesamtbedeutung und auch Sätze zu extrahieren.

Dekodiere die Sprache

Die Synthese von Wörtern durch Gehirnsignale könnte für Menschen, die aufgrund von Krankheiten wie z. B. keinen Zugang zur Sprache haben, sehr nützlich sein Motoneuron-Erkrankungen, die die Neuronen beeinflussen, die die willkürlichen Bewegungen des Körpers steuern. Diese Forschung wirft auch Fragen nach der Existenz unseres intimsten Privatlebens, dem unserer Gedanken, auf.

Die Sprachdekodierungsmusteroder „Sprachdecoder“ versuchen, aus Aufzeichnungen der Gehirnaktivität die Wörter abzuleiten, die Probanden hören, sagen oder sich vorstellen.

Bisher wurden Sprachdecoder nur für Daten verwendet, die von im Gehirn implantierten Geräten gewonnen wurden, was ihren Nutzen einschränkt. Und bisher haben Decoder, die nichtinvasive Aufzeichnungen der Gehirnaktivität verwenden, einzelne Wörter oder sehr kurze Sätze entschlüsselt, wurden jedoch nicht zur Bedeutungsextraktion aus kontinuierlicher Sprache eingesetzt.

hierin Nouvelle EtüdeDabei handelt es sich um ein sehr spezifisches Signal der funktionellen MRT, das ausgenutzt wurde: Dieses Signal hängt vom Blutfluss im Gehirn und dem Grad der Sauerstoffversorgung des Blutes ab.

Indem sie sich auf die Gehirnaktivität in Gehirnregionen und neuronalen Netzwerken konzentrierten, von denen bekannt ist, dass sie Sprache verarbeiten, zeigten die Forscher, dass ihr Decoder darauf trainiert werden konnte, kontinuierliche Sprache, einschließlich spezifischer Wörter, aber auch Bedeutungen, zu rekonstruieren. Aggregat vollständigerer Sätze.

Der Decoder nutzte die Gehirnreaktionen von drei Teilnehmern, die beim Hören von Geschichten aufgezeichnet wurden, und generierte Wortfolgen, die die aufgezeichnete Gehirnaktivität hätten erzeugen können. Diese Wortfolgen gaben die Grundidee der Geschichte recht gut wieder und enthielten in manchen Fällen sogar exakte Wörter oder Phrasen.

Im funktionsfähigen MRT-Scanner wurden die Teilnehmer auch dazu gebracht, Stummfilme anzusehen und sich die dazugehörigen Geschichten auszudenken. In beiden Fällen konnte der Decoder die meisten Geschichten vorhersagen.

Ein Teilnehmer dachte beispielsweise: „Ich habe meinen Führerschein nicht erworben“ (Ich habe noch keinen Führerschein), und der Decoder sagte voraus: „Sie hat noch nicht einmal Autofahren gelernt“ (Sie hat noch nicht einmal angefangen, Autofahren zu lernen).

Wenn die Teilnehmer außerdem einer Geschichte aktiv zuhören mussten, während sie eine gleichzeitig übertragene zweite Geschichte ignorierten, konnte der Decoder nur die erste Handlung identifizieren.

Wie es funktioniert ?

Zunächst baten die Wissenschaftler die Teilnehmer, 16 Stunden in einem funktionellen MRT-Scanner zu verbringen, wo sie den vorgelesenen Geschichten lauschten und gleichzeitig ihre Gehirnaktivitäten aufzeichneten.

Diese Gehirnreaktionen wurden verwendet, um einen „Encoder“ zu trainieren, ein Computermodell, das vorhersagt, wie das Gehirn auf die vom Teilnehmer gehörten Wörter reagiert. Nach diesem Training kann der Encoder mit hoher Genauigkeit vorhersagen, worauf das Gehirn jedes Teilnehmers reagieren würde, wenn er eine Folge bestimmter Wörter hört.

Aber in die andere Richtung zu gehen, also aus der Gehirnaktivität eine Wortfolge zu extrahieren, ist viel schwieriger.

Tatsächlich ist das Encodermodell darauf ausgelegt, Gehirnaktivitäten und „semantische Elemente“ oder die Gesamtbedeutung von Wörtern oder Sätzen in Beziehung zu setzen. Um dies zu erreichen, verwendet das System die „GPT“-Sprachmodell, z generativer vortrainierter Transformator, der Vorläufer des heutigen GPT-4. Der Decoder generiert dann die Wortfolge, die die beobachtete Gehirnreaktion hätte hervorrufen können.

Die Richtigkeit jeder Decoder-Vorhersage wird überprüft, indem daraus die entsprechende Gehirnaktivität berechnet wird. Diese vom Decoder vorhergesagte Gehirnaktivität wird dann mit der tatsächlich aufgezeichneten verglichen.

Während dieses Prozesses, der viele Rechenressourcen verbraucht, werden nacheinander viele Vorhersagen generiert und nach ihrer Genauigkeit klassifiziert: Die ungeeigneten Vorhersagen werden eliminiert, die genauesten bleiben erhalten. Dann wird das nächste Wort in der Reihenfolge vorhergesagt, bis die korrekteste Reihenfolge ermittelt ist.

Worte und Bedeutung

Die neue Studie zeigt, dass zur Durchführung des Vorhersageprozesses Daten aus mehreren Regionen des Gehirns benötigt wurden. Diese Regionen sind vielfältig, aber sehr spezifisch: Es handelt sich um das Sprachnetzwerk, die parietale/temporale/okzipitale Assoziationsregion und den präfrontalen Kortex.

Ein wesentlicher Unterschied zwischen dieser Arbeit und früheren Studien besteht in der Art der verwendeten Daten. Tatsächlich verknüpfen die meisten Decoder Daten aus Gehirnregionen, die an der Endphase der Sprachbildung, nämlich Mund- und Zungenbewegungen, beteiligt sind. Dieser Decoder arbeitet auf einer anderen Ebene, nämlich mit Ideen und der Bedeutung von Gedanken.

Eine der Einschränkungen funktioneller MRT-Daten ist ihre geringe „zeitliche Auflösung“. Tatsächlich steigt und fällt das Blutsauerstoffsignal in etwa 10 Sekunden, einem Zeitraum, in dem wir etwa zwanzig Wörter oder mehr hören. Daher erkennt diese Technik nicht einzelne Wörter, sondern die wahrscheinliche Bedeutung von Wortfolgen.

Wir geraten nicht in Panik (noch nicht)

Die Vorstellung, dass wir Gedanken lesen können, weckt natürlich Bedenken hinsichtlich der Existenz unseres intimsten Privatlebens und dessen, was in unseren Köpfen vorgeht. Die Forscher führten zusätzliche Experimente durch, um die Leistungsfähigkeit der Technik zu klären.

Diese Experimente zeigen, dass wir uns trotzdem keine Sorgen machen müssen, dass unsere Gedanken gelesen werden, wenn wir auf der Straße gehen oder nicht kooperieren wollen.

Tatsächlich kann ein Decoder, der auf die Gehirndaten einer Person trainiert wurde, semantische Elemente aus den Gehirndaten einer anderen Person schlecht vorhersagen. Darüber hinaus können die Teilnehmer die Dekodierungsaufgabe erschweren, indem sie ihre Aufmerksamkeit auf eine andere Aufgabe richten, beispielsweise auf das Benennen von Tieren oder das Erzählen einer anderen Geschichte.

Auch wenn sich Teilnehmer im funktionellen MRT bewegen, kommt es zu Fehlfunktionen des Decoders, da es sich hierbei um ein sehr bewegungsempfindliches Bildgebungsverfahren handelt. Die Mitarbeit der Teilnehmer ist hierbei unerlässlich.

Angesichts dieser technischen Einschränkungen und der Notwendigkeit sehr leistungsfähiger Computer zum Betrieb des Decoders ist es zum jetzigen Zeitpunkt sehr unwahrscheinlich, dass jemandes Gedanken gegen seinen Willen entschlüsselt werden können.

Schließlich funktioniert der Decoder im Moment nur mit Daten, die durch funktionelle MRT gewonnen wurden, was eine kostspielige und oft schwierige Technik in der Implementierung ist. Die Forschungsgruppe beabsichtigt, diese Methode mit Daten anderer nicht-invasiver Bildgebungstechnologien des Gehirns zu testen.

Christina Maher, Biomedizinischer Ingenieur und Neurowissenschaftler, Universität von Sydney

Dieser Artikel wurde von neu veröffentlicht Das Gespräch unter Creative Commons Lizenz. Lesen Sie dieOriginalartikel.

Bildnachweis: Shutterstock / ORION-PRODUKTION