Explain — Modul 1
Tokens & Temperature: Wie KI Text versteht
Zwei Konzepte, die alles verändern: Tokens bestimmen, wie KI liest — Temperature bestimmt, wie sie schreibt.
Wer mit ChatGPT, Claude oder anderen KI-Chatbots arbeitet, stößt schnell auf zwei zentrale Begriffe: Tokens und Temperature. Beide beeinflussen fundamental, wie ein KI-Sprachmodell funktioniert — vom Verstehen der Eingabe bis zur Qualität der Ausgabe.
Tokens sind die Grundbausteine, in die ein Large Language Model (LLM) jeden Text zerlegt. Anders als Wörter oder Buchstaben sind Tokens eine eigene Einheit: Manche entsprechen ganzen Wörtern, andere nur Silben oder Sonderzeichen. Die Tokenisierung beeinflusst API-Kosten, Kontextlänge und die Leistungsfähigkeit des Modells in verschiedenen Sprachen.
Temperature hingegen steuert die Vorhersage-Strategie des Modells. Niedrige Werte (0.1–0.3) machen Antworten deterministisch und faktentreu, hohe Werte (0.8–1.2) erlauben kreativere, überraschendere Formulierungen. In diesem Modul erfahren Sie, wie beide Konzepte zusammenhängen — und kannst sie in interaktiven Demos selbst ausprobieren.
Was sind Tokens?
KI-Modelle lesen keinen Text wie wir. Stattdessen zerlegen sie jede Eingabe in kleine Bausteine — sogenannte Tokens. Ein Token kann ein ganzes Wort sein, eine Silbe, oder sogar nur ein einzelnes Zeichen.
Das Modell sieht also keine Sätze, sondern eine Folge von nummerierten Bausteinen. Je effizienter ein Text tokenisiert wird, desto weniger “Platz” braucht er im Kontext-Fenster des Modells.
Probier es selbst
Gib einen Text ein und sieh, wie er in Tokens zerlegt wird. Vergleiche verschiedene Sprachen — manche brauchen mehr Tokens als andere.
Sprache beeinflusst die Token-Anzahl
Die meisten KI-Modelle wurden überwiegend mit englischen Texten trainiert. Deshalb sind englische Wörter oft als einzelne Tokens gespeichert, während deutsche Wörter häufiger in Silben zerlegt werden.
Chinesische Zeichen benötigen besonders viele Tokens, weil jedes Zeichen einzeln kodiert werden muss. Das bedeutet: derselbe Inhalt kostet in verschiedenen Sprachen unterschiedlich viel — ein wichtiger Faktor bei API-Kosten und Kontextlänge.
Tokens sind der Input.
Aber was passiert beim Output?
Was ist Temperature?
Wenn ein KI-Modell das nächste Wort vorhersagt, berechnet es für jedes mögliche Wort eine Wahrscheinlichkeit. Der Parameter Temperature steuert, wie stark die Unterschiede zwischen diesen Wahrscheinlichkeiten sind.
Niedrige Temperature = das wahrscheinlichste Wort gewinnt fast immer. Hohe Temperature = auch unwahrscheinliche Wörter bekommen eine Chance. Das ist es, was viele “Kreativität” nennen.
Temperature Lab
Bewege den Regler und beobachte, wie sich die Wahrscheinlichkeitsverteilung verändert. Bei niedriger Temperature dominiert “blau” — bei hoher wird die Verteilung gleichmäßiger.
Kontext-Prompt:
“Der Himmel ist ___”
Standard — die natürliche Verteilung der gelernten Wahrscheinlichkeiten.
Key Takeaways
- Tokens sind die Bausteine, in die KI jeden Text zerlegt — nicht Buchstaben, nicht Wörter, sondern etwas dazwischen.
- Verschiedene Sprachen erzeugen unterschiedlich viele Tokens für denselben Inhalt — englisch ist am effizientesten.
- Temperature ist kein Kreativitäts-Schalter — sie verändert, wie stark das Modell zwischen wahrscheinlichen und unwahrscheinlichen Wörtern unterscheidet.
- Niedrige Temperature (0.1–0.3) für faktische Aufgaben, hohe Temperature (0.8–1.2) für kreative — aber selten über 1.5.
Diese Konzepte im Workshop erleben
In der Prompt Arena können Teilnehmer live gegen verschiedene KI-Modelle prompten — ideal, um Theorie in die Praxis umzusetzen.
Kostenlos testen