KI-Training: Neues lernen, ohne altes Wissen zu verlieren

Stellen Sie sich vor, ein erfahrener Mitarbeiter lernt eine neue Aufgabe – und vergisst darüber, wie er E-Mails schreibt. Nicht so toll, oder? Genau das kann auch bei künstlicher Intelligenz passieren. Lernt ein KI-Modell etwas Neues dazu, kann vorhandenes Wissen auf Nimmerwiedersehen verloren gehen.

Wenn beim Training Wissen flöten geht

Ein Sprachmodell lernt aus riesigen Textmengen, Muster in Sprache zu erkennen. Soll es eine neue Fähigkeit erlernen, zum Beispiel Bilder oder 3D-Daten zu verarbeiten, trainieren Entwickler meist das komplette Modell neu. Das nennt man Feintuning. Ein umfassendes Feintuning verändert jedoch das gesamte Modell. Das kostet nicht nur Zeit und Rechenleistung, sondern sorgt im schlimmsten Fall auch dafür, dass wertvolles Wissen plötzlich weg ist. Forscher der University of California, Berkeley, und des Unternehmens Ramen VR fragten sich deshalb: Muss das wirklich sein?

Ein kleiner Baustein reicht oft aus

Die Wissenschaftler gingen folgendermaßen vor: Sie setzten zwischen das Sprachmodell und das System zur Verarbeitung von 3D-Objekten einen Übersetzer, den sogenannten Projektor. Nur dieser Projektor lernte dazu, während das Sprachmodell selbst vollkommen unverändert blieb. Und das hat auch wunderbar funktioniert: Das System erreichte ähnlich gute Werte wie Modelle, bei denen die komplette KI mittrainiert wurde. Weiterer Pluspunkt: Das Training war rund doppelt so schnell.

Trainierten die Forscher hingegen das komplette Sprachmodell mit, verschlechterten sich die bestehenden Fähigkeiten. Das Modell beantwortete dann auf einmal einfache Fragen schlechter, hielt sich seltener an Anweisungen und büßte sogar an Programmierkenntnissen ein. Fachleute nennen dieses Phänomen katastrophales Vergessen. Blieb das Sprachmodell dagegen unangetastet, trat dieses Problem gar nicht erst auf – technisch war es schlicht ausgeschlossen.

Ein Blick auf die Zahlen

Wie groß der Unterschied letztlich ausfallen kann, zeigt ein Beispiel aus der Studie. Die Forscher ließen ein Sprachmodell einfache Rechenaufgaben lösen – einmal vor und einmal nach dem vollständigen Training. Vorher lag die Trefferquote bei rund 87 Prozent. Nach dem Training ging es richtig bergab: Das Modell schaffte nicht einmal mehr 1 Prozent. Bei der Variante, bei der nur der Projektor trainiert wurde, blieb die Trefferquote dagegen nahezu unverändert – sie lag weiterhin bei rund 87 Prozent.

Was das für Ihr Unternehmen heißt

Die Grundidee passt gut in den Arbeitsalltag: Oft bringt der gezielte, schlanke Weg mehr als der große Umbau. Wir zeigen Ihnen, wo sich Ihre Prozesse mit KI sinnvoll optimieren lassen. Vereinbaren Sie dazu am besten ein kostenloses Erstgespräch mit uns.

---

Glossar

• Catastrophic Forgetting (digitales Vergessen): Phänomen, bei dem ein KI-Modell beim Lernen neuer Aufgaben Teile seines bereits vorhandenen Wissens verliert.

• Feintuning (Fine-Tuning): Das Nachtrainieren eines bereits bestehenden KI-Modells mit zusätzlichen, meist spezialisierten Daten.

• Projektor: Ein kleiner, trainierbarer Baustein, der Daten aus einem Sensor oder Encoder in ein Format übersetzt, das ein Sprachmodell verarbeiten kann.

• Sprachmodell (LLM): Ein KI-System, das auf Basis großer Textmengen Sprache verarbeitet und generiert.

Quelle

Iskandar, N., Selvan, S., Victoroff, S.: „Projector Is All You Train“