Wenn wir im Zusammenhang mit Sprachmodellen (LLMs) von „Token“ sprechen, meinen wir die grundlegenden Einheiten, in die Text zerlegt wird, damit die KI ihn verarbeiten kann. Ein Token kann ein ganzes Wort sein (z.B. „Hallo“), ein Teil eines Wortes (z.B. „lern“ und „en“ bei „lernen“), ein einzelnes Zeichen oder auch Satzzeichen. Die KI „denkt“ und „rechnet“ sozusagen in diesen Token. Die Länge eines Textes für eine KI wird oft in Token gemessen, und das kann auch beeinflussen, wie viel Kontext ein Modell verstehen kann oder wie die Nutzung von KI-Diensten abgerechnet wird.