1 - Welchen Zweck Erfüllen Embeddings in Sprachmodellen?
! Tokens stellen Sprache dar, beschreiben sie aber nicht.
=> Embeddings stellen Tokens als Vektoren im n-dimensionalen Raum dar. Ein Token wird durch seine Nähe zu anderen Tokens beschrieben.
——————
Encodermodelle werden als Ganzes darauf trainiert, für Textsequenzen Vektoren zu erzeugen. Durch kontrastives Lernen liegen ähnliche Einträge im Vektorraum nah beieinander (ähnlicher Inhalt → ähnlicher Ort).
Bei generativen Sprachmodellen werden die Tokenrepräsentationen in der Embeddingschicht per Backpropagation trainiert. Bei der Textgenerierung bekommt jedes Token seinen dort trainierten Vektor zugewiesen.
“Verständnis: Generative Sprachmodelle sind z. B. GPT oder Claude. Die Token-ID dient als Adresse, unter der das Modell den Vektor eines Tokens in der Embeddingschicht nachschlägt.”
2 - Was ist die Attention in Sprachmodellen und wie beeinflusst Sie das Sprachmodell?
Attention ist ein Mechanismus, der die Tokens in der Eingabe gewichtet und damit Relevanz zuweist.
Attention hilft bei Kontextualisierung. Wort bekommt je nach Umgebung andere Bedeutung.
3 - Was sind Hidden States ?
Über die Modellschichten hinweg gespeicherte Informationen, welche Einfluss auf die weitergegebenen Daten nehmen.
Hidden States repräsentieren also die bisherige Information der Schichten und geben sie an die weitere Berechnung weiter.
4 - Wie verarbeiten Transformermodelle sinngemäß Sprache und geben diese aus?
Die Transformerarchitektur ist der Grundbaustein moderner Sprachmodelle.
Ablauf: Tokenisierung → Embedding + Attention → Hidden States über die Schichten verfeinern → Wahrscheinlichkeit für jedes Token im Vokabular
———-
Der Encoder betrachtet nur die Eingabesequenz und gibt eine Vektorrepräsentation der Eingabe gemäß dem Trainingsziel aus (Anwendung: Klassifizierung, Embeddings für Vektordatenbanken).
Der Decoder generiert pro Durchlauf ein Textelement auf Basis seiner Eingaben (Encoderausgaben, Prompts, Kontext), bis hin zu ganzen Textsequenzen. Seine Eingabe ist die mit jedem Durchlauf wachsende generierte Textsequenz, das Ergebnis jeweils eine Wahrscheinlichkeit für jedes Token im Vokabular (Anwendung: Textgenerierung).
Textgenerierende Modelle besitzen nur Decoder.
———
Verständnis: Aus dem letzten Hidden State berechnet eine Ausgabeschicht für jedes Token im Vokabular eine Punktzahl, Softmax (wie in V7) macht daraus Wahrscheinlichkeiten. Beispiel: „The capital of Germany is …“ → Berlin 0,79. Aus dieser Verteilung wird dann das nächste Token gezogen (Sampling, Karte 5).
5 - Wie funktioniert die Textgenerierung und welche Parameter beeinflussen Sie?
Text entsteht durch Sampling der Modellausgaben. (Tokenwahrscheinlichkeit)
Die Temperatur verändert die Wahrscheinlichkeitsverteilung; niedrig = deterministischer, hoch = zufälliger.
Top-k und Top-p schränken die Auswahl des nächsten Tokens ein. Bei Top-k werden nur die k wahrscheinlichsten Tokens berücksichtigt. Bei Top-p werden die Tokens absteigend nach Wahrscheinlichkeit aufsummiert, bis die Summe den Grenzwert p erreicht, die übrigen fallen weg. Top-k wählt also eine feste Anzahl, Top-p eine feste Wahrscheinlichkeitsmasse.
Last changed22 days ago