Wie funktioniert ChatGPT? Einfach erklärt: Der KI-Chatbot von OpenAI zerlegt eine Frage in kleine Textbausteine und berechnet dann Schritt für Schritt, welcher Baustein am besten folgen könnte. So entsteht eine Antwort Wort für Wort. Das klingt nach Verstehen, beruht aber auf statistisch gelernten Mustern aus sehr vielen Texten. Gerade dieser Unterschied erklärt, warum ChatGPT überzeugend formulieren kann und trotzdem manchmal falschliegt.
Wie funktioniert ChatGPT? Einfach erklärt in drei Schritten
ChatGPT ist ein von OpenAI entwickelter KI-Chatbot. Er wurde am 30. November 2022 veröffentlicht und basierte zum Start auf dem Sprachmodell GPT-3.5. Sein Name beschreibt bereits das Prinzip: „Chat“ steht für Unterhaltung, GPT für „Generative Pretrained Transformer“.
- Die Eingabe wird zerlegt. Eine Frage besteht für das Modell nicht einfach aus Wörtern, sondern aus Tokens.
- Der Kontext wird gewichtet. Das Modell berechnet, welche Teile der bisherigen Eingabe für den nächsten Schritt wichtig sind.
- Es folgt eine Vorhersage. ChatGPT wählt ein wahrscheinliches nächstes Token, fügt es an und wiederholt den Vorgang, bis eine Antwort entsteht.
Bei einem angefangenen Satz wie „Im Winter fällt Wasser oft als …“ passt „Schnee“ statistisch sehr gut. Bei einer offenen Frage sind viel mehr Fortsetzungen möglich. Welche davon gewählt wird, hängt von den vorherigen Tokens und von einer Einstellung ab, die bestimmt, ob das Modell eher bei der wahrscheinlichsten Formulierung bleibt oder stärker variiert.
Was ist ein Sprachmodell – und was macht ein LLM groß?
Ein Sprachmodell ist ein KI-System, das Wahrscheinlichkeiten von Wörtern und Wortfolgen erlernt. Es lernt dabei Muster, Satzstrukturen, Grammatik und Faktenwissen aus Textmengen. Inhaltlich versteht es Sprache jedoch nicht wie ein Mensch; es verarbeitet statistische Zusammenhänge.
ChatGPT gehört zur Gruppe der Large Language Models, kurz LLMs. Als LLM gilt ein Sprachmodell mit mehr als einer Milliarde Parametern. Parameter sind die einstellbaren Werte, in denen ein Modell während des Trainings Muster ablegt. GPT-3 aus dem Jahr 2020 hatte 175 Milliarden Parameter und machte diese Modellgröße bekannt.
Diese Größenordnung macht unterschiedliche Aufgaben möglich: Chatbots, Übersetzungen, Code-Erzeugung und Textanalyse. Sie ist aber keine Garantie für richtige Antworten. Ein großes Modell kann eine Formulierung sehr plausibel fortsetzen, ohne den Wahrheitsgehalt prüfen zu können.
Tokens und Transformer entscheiden, was in der Antwort zählt
Tokens sind die kleinsten Einheiten, mit denen ein Sprachmodell arbeitet. Ein Token kann ein ganzes Wort, ein Wortteil oder sogar ein einzelnes Zeichen sein. Zusammengesetzte deutsche Wörter benötigen deshalb oft mehr Tokens als ein vergleichbarer englischer Text. Bei englischem Text entspricht ein Token als Faustregel etwa 0,75 Wörtern.
Damit das Modell Beziehungen innerhalb einer Eingabe erkennt, nutzt GPT die Transformer-Architektur. Sie wurde 2017 von acht Forschern bei Google im Paper „Attention Is All You Need“ vorgestellt. Ihr entscheidender Mechanismus heißt Self-Attention: Jedes Token bewertet bei der Verarbeitung, welche anderen Tokens im vorhandenen Kontext gerade besonders wichtig sind.
Der Satz „Die Bank ist geschlossen“ bleibt ohne weiteren Zusammenhang mehrdeutig. Es kann um ein Geldinstitut oder eine Sitzbank gehen. Steht zuvor etwas über ein Konto, kann das Modell dieses Signal stärker gewichten. Anders als ältere RNN-Modelle können Transformer viele Berechnungen parallel ausführen. Das beschleunigt das Training auf großen Textmengen erheblich. GPT verwendet dabei eine Decoder-only-Variante des Transformers.
Wie viel Zusammenhang überhaupt verfügbar ist, begrenzt das Kontextfenster. Es legt fest, wie viele Tokens ChatGPT auf einmal berücksichtigen kann. Innerhalb einer Unterhaltung kann sich der Chatbot an frühere Inhalte erinnern, aber nur, soweit sie in diesem Fenster liegen.
Woher hat ChatGPT sein Wissen?
Das Wissen entsteht beim Training mit Texten. GPT-3 wurde auf 300 Milliarden Tokens trainiert; die Rohdaten umfassten 45 Terabyte komprimierter Textdaten aus dem Common-Crawl-Webarchiv. Die Trainingsmischung bestand zu 60 Prozent aus gefiltertem Common-Crawl-Text, zu 22 Prozent aus ausgewählten Webseiten (WebText2), zu 16 Prozent aus Büchersammlungen und zu 3 Prozent aus Wikipedia-Artikeln.
| Trainingsbaustein von GPT-3 | Anteil |
|---|---|
| Gefilterter Common-Crawl-Text | 60 % |
| Ausgewählte Webseiten (WebText2) | 22 % |
| Büchersammlungen | 16 % |
| Wikipedia-Artikel | 3 % |
Beim Training prägt sich das Modell nicht eine Fundstelle zu jeder Antwort ein. Anders als eine Suchmaschine weiß es nicht, wo eine bestimmte Information steht. Es berechnet, welche Wortwahrscheinlichkeiten am besten zur bisherigen Token-Folge passen. Nach dem Training ist dieses Wissen eingefroren. Ohne eine nachgelagerte Websuche kennt das Modell keine späteren Ereignisse automatisch.
Wie Feedback von Menschen die Antworten lenkt
Nach dem Grundtraining kommt bei ChatGPT menschliches Feedback hinzu. Diese Methode heißt RLHF, ausgeschrieben Reinforcement Learning from Human Feedback. Sie soll Antworten hilfreicher und menschenähnlicher machen.
| Schritt | Was dabei geschieht |
|---|---|
| 1. Feinabstimmung | Menschen geben Beispielantworten vor. |
| 2. Belohnungsmodell | Bewerter ordnen mehrere Antworten auf denselben Prompt nach Nützlichkeit. |
| 3. Nachjustierung | Das Modell wird mit dem Optimierungsverfahren PPO stärker auf Antworten ausgerichtet, die menschliche Bewerter bevorzugen. |
RLHF ändert nicht das Grundprinzip der nächsten Token-Vorhersage. Es verschiebt vielmehr, welche Antworten das Modell als besonders erwünscht gelernt hat. Das kann die Qualität verbessern, aber auch Verzerrungen übernehmen, wenn das menschliche Feedback kulturell einseitig oder unausgewogen ist.
Warum ChatGPT Fehler macht und keine Wahrheit prüft
Ein häufiger Irrtum lautet: Eine flüssige Antwort müsse auch richtig sein. ChatGPT hat kein Bewusstsein, keine Emotionen und kein Verständnis für Wahrheit. Es erzeugt statistische Sprachmuster, die wie menschliche Antworten wirken.
Als Halluzinationen bezeichnet man Antworten, die plausibel klingen, aber inhaltlich erfunden sind. Sie entstehen, weil das Modell Musterwahrscheinlichkeiten erzeugt statt Fakten zu überprüfen. Besonders seltene Angaben, etwa der Geburtstag eines Haustiers, lassen sich aus bloßen Textmustern kaum zuverlässig vorhersagen. Selbst neuere Modelle halluzinieren zwar seltener als GPT-3, aber das Problem ist nicht verschwunden.
Typische Irrtümer bei ChatGPT
- „ChatGPT sucht jede Antwort im Internet.“ Ohne nachgelagerte Websuche arbeitet es mit seinem trainierten, eingefrorenen Wissen.
- „Eine flüssige Formulierung beweist die Richtigkeit.“ Plausibilität und Wahrheit sind für das Modell nicht dasselbe.
- „Menschliches Feedback entfernt alle Fehler.“ RLHF lenkt Antworten, kann aber selbst Verzerrungen mitbringen.
Für wichtige Angaben bleibt deshalb ein klarer Schritt sinnvoll: die Aussage in einer verlässlichen Quelle prüfen. Das gilt besonders bei seltenen Fakten und bei Informationen, die sich nach dem Training geändert haben können.
Was kostet ChatGPT und wie werden Unterhaltungen genutzt?
ChatGPT gibt es dauerhaft kostenlos in der Free-Version. Sie umfasst ein Basismodell, Websuche sowie eingeschränkten Zugang zu Bildgenerierung und Dateiuploads. ChatGPT Plus kostet 20 US-Dollar pro Monat ohne Steuern, in Deutschland etwa 23 Euro inklusive Mehrwertsteuer. Enthalten sind aktuelle Modelle, höhere Nutzungslimits und Deep Research.
Standardmäßig verwendet OpenAI Inhalte aus ChatGPT-Unterhaltungen zum Training seiner Modelle. Ein Widerspruch ist über das Datenschutz-Portal möglich. Für Gespräche, die nicht im Verlauf erscheinen und nicht für das Training verwendet werden sollen, gibt es den Temporären Chat. Solche Unterhaltungen werden nach 30 Tagen gelöscht.
Häufige Fragen
Wie funktioniert ChatGPT einfach erklärt?
ChatGPT zerlegt Text in Tokens und sagt aus dem bisherigen Kontext immer das nächste wahrscheinliche Token vorher. So baut es eine Antwort Schritt für Schritt auf.
Was ist ein Sprachmodell?
Ein Sprachmodell lernt aus großen Textmengen, welche Wörter und Wortfolgen wahrscheinlich zusammenpassen. Es verarbeitet Sprache statistisch und prüft keine Wahrheit.
Woher hat ChatGPT sein Wissen?
Das Modell lernt beim Training aus Texten. Dieses Wissen ist danach eingefroren; ohne nachgelagerte Websuche werden spätere Ereignisse nicht automatisch bekannt.
Warum macht ChatGPT Fehler?
Das Modell erzeugt wahrscheinliche Formulierungen statt Fakten zu verifizieren. Deshalb können Halluzinationen entstehen: erfundene Aussagen, die sprachlich überzeugend wirken.
Was kostet ChatGPT?
Die Free-Version ist dauerhaft kostenlos. ChatGPT Plus kostet 20 US-Dollar monatlich ohne Steuern, in Deutschland etwa 23 Euro inklusive Mehrwertsteuer.



