Brain2Qwerty: Metas KI liest getippte Sätze aus Hirnaktivität

Tanja Schmitt / Redakteurin
28. Juli
3 Min. Lesezeit

35 Menschen tippten Sätze, ohne zu sehen, was sie da eigentlich schrieben. Und eine KI las fleißig mit, indem sie ihre Hirnaktivität analysierte. Forscher von Meta AI und dem baskischen Institut BCBL zeigen mit ihrem Modell Brain2Qwerty, dass sich getippte Sätze allein aus der Hirnaktivität erkennen lassen – ganz ohne Operation. Wie gut das klappt und wo die Grenzen liegen, zeigt ein Blick in die Studie.

35 gesunde Probanden lasen kurze spanische Sätze und tippten diese anschließend aus dem Gedächtnis auf einer verdeckten Tastatur. Dabei zeichneten die Forscher ihre Hirnaktivität auf – entweder per MEG (Magnetoenzephalografie) oder per EEG (Elektroenzephalografie). Die KI ordnet diese Signale den passenden Buchstaben zu. Sie erkennt also Muster in den Messdaten. Gedanken kann sie aber nicht lesen.

Wie genau das Modell arbeitet

Das Modell arbeitet in drei Stufen. Ein erstes Modul filtert Merkmale aus den Rohsignalen. Ein Transformer setzt daraus die Zeichenfolge zusammen und ein Sprachmodell korrigiert am Ende die Fehler. MEG schnitt hier deutlich besser ab: Die Zeichenfehlerrate lag bei 29 Prozent, bei den besten Teilnehmern sogar nur bei 18 Prozent. EEG war mit einer Fehlerrate von 65 Prozent der klare Verlierer.

Der Clou: Vertippte sich ein Proband, verbesserte das Sprachmodell den Fehler oft selbst. Aus dem falschen Satz „EK BENEFUCUI SYOERA KIS RUESGIS" wurde dann automatisch der richtige „EL BENEFICIO SUPERA LOS RIESGOS".

Analysen zeigen, dass das Modell hauptsächlich motorische Informationen nutzt, sprich die Bewegungssignale der Hände. Kam es zu Verwechslungen, dann vor allem bei Tasten, die auf der Tastatur nah beieinanderliegen. Gemeint ist die sogenannte QWERTY-Tastatur, die weit verbreitete Standardbelegung, auf die auch der Modellname Brain2Qwerty anspielt.

Nicht-invasiv, dafür nicht ganz so genau

Trotz aller Fortschritte: Implantierte Systeme sind immer noch genauer. Eine im Fachjournal Nature Medicine veröffentlichte Studie begleitete einen ALS-Patienten, der ein solches Implantat fast zwei Jahre lang nutzte. In strukturierten Tests erreichte das System eine Wortgenauigkeit von über 99 Prozent, und das aus einem Wortschatz von 125.000 Wörtern. Dafür ist jedoch ein neurochirurgischer Eingriff nötig, verbunden mit Risiken wie Blutungen oder Infektionen. Brain2Qwerty ist zwar nicht ganz so genau, kommt dafür aber ohne Operation aus.

Wer hinter Brain2Qwerty steckt

Brain2Qwerty wurde von einem Team der KI-Forschungsabteilung von Meta in Paris entwickelt, angeführt von Jean-Rémi King und Erstautor Jarod Lévy. Die Messungen liefen am Basque Center on Cognition, Brain and Language (BCBL) im spanischen San Sebastián. Beteiligt waren außerdem die École Normale Supérieure, die Universität Lille und das CNRS. Erschienen sind die Ergebnisse im Fachjournal Nature Neuroscience. Ein Hinweis zur Einordnung: Mehrere Autoren sind bei Meta angestellt.

Warum das noch Zukunftsmusik ist

Das Ziel von Brain2Qwerty: Menschen, die nicht sprechen können, sollen wieder kommunizieren. Doch MEG-Geräte brauchen magnetisch abgeschirmte Räume und stehen fest im Labor. Diese sind damit für den Hausgebrauch nicht geeignet. Außerdem arbeitet das Modell nicht in Echtzeit, sondern wertet ganze Sätze im Nachhinein aus. Für den Alltag taugt die Technik somit vorerst nicht. Erst günstigere, tragbare Sensoren könnten das irgendwann ändern. Wann das so weit ist, steht in den Sternen.

Wenn Sie wissen möchten, welche KI-Anwendungen heute schon verlässlich und DSGVO-konform arbeiten, sprechen Sie mit dem Team von vAudience – im kostenlosen Erstgespräch.

Glossar

ALS: Amyotrophe Lateralsklerose – eine Nervenerkrankung, die nach und nach die Muskelsteuerung lähmt.
EEG (Elektroenzephalografie): Verfahren, das elektrische Spannungen der Hirnaktivität über Elektroden auf der Kopfhaut misst.
Fehlerrate (CER): Anteil der Zeichen, die das Modell falsch erkennt. Je niedriger, desto genauer.
MEG (Magnetoenzephalografie): Verfahren, das die schwachen Magnetfelder der Hirnaktivität außerhalb des Kopfes misst.
QWERTY-Tastatur: Die weltweit am weitesten verbreitete Tastaturbelegung, benannt nach den ersten sechs Buchstaben ihrer oberen Reihe (Q, W, E, R, T, Y). Sie stammt aus der Zeit der mechanischen Schreibmaschinen und ist heute Standard bei Computertastaturen, auch in Spanien. In der Studie tippten die Probanden auf einer solchen Tastatur; ihr Name findet sich zudem im Modellnamen Brain2Qwerty wieder. Im deutschsprachigen Raum ist eine leicht abgewandelte Variante üblich, die QWERTZ-Tastatur.
Transformer: Eine KI-Architektur, die Zusammenhänge in Sequenzen erkennt – etwa in Zeichen- oder Wortfolgen.