Wenn wir in der KI von „pre-trained“ oder „vortrainierten“ Modellen sprechen, meinen wir damit, dass diese KI-Modelle bereits einen ersten, oft sehr umfangreichen Trainingsdurchlauf auf riesigen Datenmengen hinter sich haben. Stell dir vor, ein Modell lernt erst einmal ganz grundlegend, wie Sprache funktioniert, indem es Unmengen von Texten liest, oder wie Objekte aussehen, indem es Millionen von Bildern analysiert. Dieses Vortraining versetzt das Modell in die Lage, allgemeine Muster, Grammatik, Faktenwissen oder visuelle Merkmale zu verstehen. Der große Vorteil: Solch ein vortrainiertes Modell muss für eine neue, spezifischere Aufgabe nicht mehr bei null anfangen. Es bringt schon ein breites Grundwissen mit und kann dann oft mit deutlich weniger neuen Daten und geringerem Aufwand für den speziellen Anwendungsfall feingetunt werden (siehe auch Transfer Learning). Das spart Zeit, Ressourcen und macht die Modelle oft leistungsfähiger, da sie von dem breiten Wissen des Vortrainings profitieren. Das „P“ in GPT steht zum Beispiel genau für diesen Prozess.