Explain — Modul 2
Prompt-Antwort-Pipeline: Wie KI Antworten generiert
Was passiert zwischen Ihrer Eingabe und der Antwort der KI? Drei Schritte, die aus Text Bedeutung machen.
Wenn Sie einen Prompt in ChatGPT, Claude oder ein anderes KI-Sprachmodell eingeben, passiert im Hintergrund eine komplexe Verarbeitungskette. Diese Prompt-Antwort-Pipeline verwandelt Ihren Text in eine KI-generierte Antwort — in Millisekunden.
Drei Schlüsselkonzepte machen das möglich: Embeddings übersetzen Wörter in mathematische Vektoren, in denen ähnliche Bedeutungen nah beieinander liegen. Self-Attention erkennt, welche Wörter im Kontext füreinander wichtig sind — so versteht das Modell, ob „Bank" ein Geldinstitut oder eine Sitzgelegenheit meint.
Schließlich kombiniert die Next-Token-Prediction beide Mechanismen, um Wort für Wort eine Antwort zu generieren. In diesem Modul durchlaufen Sie alle vier Stufen der Pipeline interaktiv — von der Tokenisierung bis zur fertigen Vorhersage.
Kurz-Rückblick — Modul 1
In Tokens & Temperatur haben Sie gelernt: KI zerlegt Text in Tokens und wählt das nächste Wort per Wahrscheinlichkeit. Aber zwischen Tokenisierung und Vorhersage fehlen zwei entscheidende Schritte.
Was sind Embeddings?
Tokens sind erst einmal nur Nummern — wie Wörter in einem Wörterbuch. Damit ein Modell mit ihnen rechnen kann, wird jedes Token in einen Zahlenvektor umgewandelt: ein Punkt im hochdimensionalen Raum.
Das Besondere: Wörter mit ähnlicher Bedeutung landen nah beieinander. “König” und “Königin” sind fast Nachbarn — “Hund” und “Katze” ebenfalls. So entsteht ein Raum, in dem Bedeutung geometrisch wird.
Wörter im Zahlenraum
Klicken Sie auf ein Wort und schalten Sie zwischen Text und Zahlendarstellung um. Ähnliche Bedeutungen — ähnliche Position.
Klicke auf ein Wort, um seinen Vektor zu sehen.
Die Zahlen allein reichen nicht.
Kontext entsteht erst durch Aufmerksamkeit.
Was ist Attention?
Jedes Wort in einem Satz hat eine Grundbedeutung (das Embedding). Aber die tatsächliche Bedeutung hängt vom Kontext ab. “Bank” kann ein Geldinstitut oder eine Sitzgelegenheit sein.
Self-Attention löst dieses Problem: Jedes Token “schaut” auf alle anderen Tokens und gewichtet, welche für seine Bedeutung wichtig sind. So fließt Kontext in die Darstellung jedes Worts ein.
Wer schaut auf wen?
Tippen Sie auf ein Wort, um zu sehen, wohin es seine Aufmerksamkeit richtet. Im Bank-Beispiel sehen Sie: gleiches Wort, anderer Kontext — andere Attention.
Tippen Sie auf ein Wort, um seine Attention-Gewichte zu sehen.
Kontext verstanden.
Was kommt als Nächstes?
Schritt für Schritt zur Antwort
Die komplette Pipeline auf einen Blick — vom rohen Text bis zur Wort-Vorhersage. Navigieren Sie durch die vier Stufen.
Key Takeaways
- Embeddings verwandeln Tokens in Zahlenvektoren — ähnliche Bedeutungen liegen nah beieinander im Raum.
- Self-Attention gibt jedem Wort Kontext, indem es auf andere Wörter “schaut” — mit unterschiedlicher Stärke.
- Gleiches Wort, anderer Kontext → andere Attention-Gewichte. So unterscheidet das Modell zwischen “Bank” (Geld) und “Bank” (Sitz).
- Die Pipeline: Tokenisierung → Embedding → Attention → Vorhersage. Vier Schritte von Ihrem Prompt zur Antwort.
Diese Konzepte im Workshop erleben
In der Prompt Arena können Teilnehmer live gegen verschiedene KI-Modelle prompten — ideal, um Theorie in die Praxis umzusetzen.
Kostenlos testen