Künstliche Intelligenz kann nichts mit unstrukturierten Daten wie Fließtext oder Bildern anfangen. Da KI-Algorithmen auf mathematischen und stochastischen Methoden basieren, benötigen sie numerische Werte.

​

Um ein LLM zu trainieren, wird ein Text von einem Tokenizer in Token zerlegt. Als Form von Token werden Wortbestandteile genutzt, die in Texten vorkommen. Möglich wären auch ganze Sätze, Wörter oder Zeichen. Wortbestandteile haben den Vorteil, dass sie auch in Wörtern vorkommen, die das Modell noch nicht kennt. Die Token werden in eine numerische Repräsentation überführt, die jedem Wortbestandteil eine eindeutige ID zuordnet.

Die Anwendung wurde unerwartet beendet.

-> [Die][ An][wendung][ wurde][ un][er][wart][et][ be][endet][.]

-> [18674, 1556, 67771, 27201, 653, 261, 36708, 295, 387, 55181, 13]

Im Vergleich dazu ist es auf Englisch nicht so kleinteilig:

​

The application has unexpectedly stopped.

-> [The][ application][ has][ unexpectedly][ stopped][.]

-> [464, 3586, 468, 471, 42072, 306, 22025, 1496, 13]

​

Quelle: Link

1 token ~= 4 Zeichen in Englisch

1 token ~= ¾ Wörter

100 tokens ~= 75 Wörter

​

Oder

​

1-2 Sätze ~= 30 tokens

1 Absatz ~= 100 tokens

1,500 Wörter ~= 2048 tokens

​

Quelle: Link

Hier können Sie ein eigenes Textbeispiel in Tokens zerlegen: OpenAI Tokenizer

​

Beispiel: Artikel 1 des Grundgesetzes

​

"Die Würde des Menschen ist unantastbar. Sie zu achten und zu schützen ist Verpflichtung aller staatlichen Gewalt."