V9 Einführung in Sprachmodelle

Sprachmodelle: Modelle mit der Aufgabe, Sprache verstehen, verarbeiten oder wiederzugeben zu können.

Für jede Aufgabe einsetzbar, die Sprache beinhaltet:

• Texte zusammenfassen

• Texte klassifizieren

• Fragen auf Basis eigener Datenbanken beantworten

Modellausgaben werden als Aneinanderreihung mathematischer Operationen berechnet.

Für die Eingabe muss Sprache deshalb in ein Zahlenformat abstrahiert werden.

Tokens sind das Bindeglied zwischen natürlicher Sprache und Modelleingabe.

Ein Token entspricht einer Token-ID, z. B. „Hello“ → 15496.

• Vokabular = alle vom Modell gelernten Tokens, also sein Wortschatz.

• Subwortbasierte Tokenisierung

  -> Vorteil: hoher Informationsgehalt der Tokens und effiziente Darstellung der Sprache.

• Der Tokenizer wird auf einem Textkorpus trainiert: häufige Zeichenfolgen werden zusammengefasst (S,u,r,f,b,o,a,r,d → Surf, board → Surfboard).

1. Pre-Training (unsupervised): Modell lernt grundlegendes Sprachverständnis aus Büchern, Webseiten, Wikis;

   z. B. Causal Language Modeling, das nächste Wort vorhersagen

2. Instruction-Finetuning (supervised): Aufgaben bewältigen lernen mit Anleitung-Antwort-Paaren;

   z. B. Supervised Instruction-Finetuning (SFT)

3. Post-Training (supervised + reinforcement): Modell an Präferenzen anpassen;

   Ausgabekandidaten werden erzeugt und die bevorzugte gewählt; z.B. Reinforcement Learning from Human Feedback).

Quantisierung beschreibt den Prozess: höher präzise Daten treu auf niedriger Präzise Daten zuzuweisen.

Bei LLMs werden die Modellparameter durch speichereffizientere Formate dargestellt.

Um LLMs mit weniger Speicher und damit auf günstigerer Hardware zu betreiben.

• Context Engineering: gezielte Gestaltung dieses Kontexts

• Prompt Engineering: systematische Bearbeitung des Kontexts, um die Ausgabe zu steuern und zu verbessern; z. B. Rollenverteilung, Formatierung, Teilaufgaben, Beispiele

Die meisten Modelle in Anwendungen haben eingefrorene Gewichte. Die einzige beeinflussbare Größe für Nutzer ist der Modellkontext: Prompts, Dokumente, Chats, Bilder, Videos, Code.

Reasoning ist die Fähigkeit eines LLMs, selbstständig Kontext zu transformieren, indem es Zwischentext erzeugt, um die weitere Verarbeitung zu verbessern.

Vorgänger: Chain-of-Thought-Prompting.

• Hilfreich bei: logischen, mathematischen, zusammenfassenden und mehrteiligen Aufgaben

• Unzuträglich bei: offene Schreibaufgaben und simplen Aufgaben

• Lost-in-the-Middle: Bei langem Kontext nutzen LLMs Informationen in der Mitte schlechter als am Anfang oder Ende. Gegenmittel: Kontext klein und prägnant halten.

• Context Poisoning: Einschleusen schädlicher Inhalte in den Modellkontext, z. B. neue Anweisungen, Fehlinformationen oder manipulative Inhalte.

Halluzinationen sind Textausgaben, die der zugrunde liegenden Wissensbasis untreu sind.

Das LLM “erfindet” Informationen aufgrund von fehlerhafter Datengrundlage oder Interferenzen mit schlechtem Prompting.

• Verbessern Modelltraining

• Prompt Engineering

• EInsatz Ensemble von LLms zum Debattieren der korrekten Antwort

Sprachmodell sucht sich Dokumente als Informationsgrundlage.

Bsp: RAG: Das Embeddingmodell wandelt die Dokumentabschnitte und deine Frage in Vektoren um, und die Vektordatenbank sucht die Abschnitte, die am nächsten an deiner Frage liegen.

Autonome Systeme, die Aufgaben ausführen.

Agenten handeln gemäß einer Zielstellung und Abhängigkeit einer Eingangsgrößé

Beispiel Fähigkeiten: Tool-Calling (Programme ausführen), Planung und Gedächtnis, Multi-Agenten