KI-Modelle feintunen: Neue Methode spart Rechenpower

vor 5 Tagen
3 Min. Lesezeit

Wer ein großes Sprachmodell auf eigene Firmendaten trainieren will, braucht Rechenpower. Viel davon. Methoden wie LoRA senken den Aufwand bereits deutlich – doch sie verschenken wertvolles Vorwissen. Ein neuer Ansatz namens GenFT zeigt, wie es klüger geht.

Warum Unternehmen KI-Modelle nachtrainieren

Ein KI-Modell kennt die Welt. Aber es kennt nicht Ihre Stücklisten, Ihre Servicehandbücher oder Ihre Vertragstexte. Damit ein Sprachmodell firmeneigene Aufgaben zuverlässig erledigt, muss es nachtrainiert werden; Fachleute sprechen hier von Fine-Tuning.

Das Problem: Ein vollständiges Nachtraining aller Modellparameter verschlingt jede Menge Speicher und Rechenzeit. Für ein Modell mit sieben Milliarden Parametern braucht man schnell mal 100 Gigabyte Grafikspeicher. Mittelständler ohne eigenes Rechenzentrum stoßen hier an ihre Grenzen.

Was LoRA kann – und was nicht

Aus diesem Grund setzen viele Unternehmen auf parametereffizientes Fine-Tuning (PEFT). Die bekannteste Methode heißt LoRA. Sie lässt das Basismodell unangetastet und passt nur rund 1 % davon an – über kleine Zusatzbausteine. Das spart bis zu 80 % Speicher bei 90–95 % der Ergebnisqualität.

Klingt gut, hat aber leider einen großen Nachteil: Für seine Anpassungen greift LoRA nicht auf das zurück, was das Basismodell bereits gelernt hat, sondern baut sie jedes Mal von null auf.

GenFT: Vorwissen gezielt wiederverwerten

Genau hier setzt GenFT an. Das sogenannte „Generative Parameter-Efficient Fine-Tuning" wurde am Harbin Institute of Technology und der Hong Kong Baptist University entwickelt. Die Kernidee: Statt die Anpassungen blind zu starten, extrahiert GenFT bestimmte Muster aus dem Basismodell und nutzt sie gezielt für das Nachtraining.

Vorsicht, jetzt wird es ein bisschen technisch. GenFT wendet Zeilen- und Spaltentransformationen auf die vortrainierten Gewichte an. Daraus destilliert es wiederkehrende Strukturen – vergleichbar mit einem Mitarbeiter, der vorhandenes Firmenwissen nutzt, statt bei jeder Aufgabe von vorn zu beginnen. Zusätzlich teilt GenFT die Anpassungen in schichtübergreifende und schichtspezifische Anteile auf. So balanciert es gemeinsames Wissen und individuelle Feinheiten.

Das Ergebnis laut den Forschern: Bei nur 0,24 bis 0,29 Millionen trainierbaren Parametern übertrifft GenFT etablierte Methoden – auf Bild- und Textbenchmarks gleichermaßen. Auf dem GLUE-Sprachtest erreicht es 85,87 % Durchschnittsgenauigkeit, mehr als LoRA (83,99 %) und mehr als ein vollständiges Fine-Tuning (83,56 %).

Was bedeutet das für den Mittelstand?

Weniger Parameter bedeuten weniger Hardware, weniger Kosten, schnellere Ergebnisse. Wer heute KI-Modelle individuell anpassen möchte – etwa für automatisierte Angebotserstellung oder um Dokumente automatisch der richtigen Abteilung zuzuordnen – braucht dafür keine teure Hardware. Methoden wie GenFT kommen mit deutlich weniger Rechenleistung aus. Ob GenFT bald breit verfügbar wird, bleibt offen. Die Botschaft gilt aber schon jetzt: Wer clever trainiert, spart bares Geld.

Sie möchten wissen, wie Sie KI-Modelle ressourcenschonend an Ihre Unternehmensdaten anpassen? Sprechen Sie mit unserem Team – das Erstgespräch ist kostenlos.

Glossar

Fine-Tuning: Ein vortrainiertes KI-Modell wird mit eigenen Daten nachtrainiert, damit es spezifische Aufgaben besser löst.
GenFT (Generative Parameter-Efficient Fine-Tuning): Neue PEFT-Methode, die vortrainiertes Wissen aktiv nutzt, um die Zusatzgewichte effizienter zu trainieren.
GLUE-Benchmark: Standardisierter Test für Sprachverständnis, bestehend aus acht Aufgaben wie Textklassifikation und Satzbewertung.
LoRA (Low-Rank Adaptation): Eine PEFT-Methode, die kleine Zusatzmatrizen trainiert, statt das gesamte Modell zu verändern.
Parameter: Einzelne Zahlenwerte im KI-Modell, die beim Training gelernt werden – je mehr, desto rechen- und speicherintensiver.
PEFT (Parameter-Efficient Fine-Tuning): Sammelbegriff für Methoden, die nur einen Bruchteil der Modellparameter anpassen – spart Speicher und Rechenzeit.