1 - Nennen Sie 3 Anwendungsfälle von Sprachmodellen und definieren Sie den Begriff
Sprachmodelle: Modelle mit der Aufgabe, Sprache verstehen, verarbeiten oder wiederzugeben zu können.
Für jede Aufgabe einsetzbar, die Sprache beinhaltet:
Texte zusammenfassen
Texte klassifizieren
Fragen auf Basis eigener Datenbanken beantworten
2 - Wofür benötigen Sprachmodelle die Tokenisierung der Sprache?
Modellausgaben werden als Aneinanderreihung mathematischer Operationen berechnet.
Für die Eingabe muss Sprache deshalb in ein Zahlenformat abstrahiert werden.
Tokens sind das Bindeglied zwischen natürlicher Sprache und Modelleingabe.
3 - Was stellen Tokens dar?
Ein Token entspricht einer Token-ID, z. B. „Hello“ → 15496.
Vokabular = alle vom Modell gelernten Tokens, also sein Wortschatz.
Subwortbasierte Tokenisierung
-> Vorteil: hoher Informationsgehalt der Tokens und effiziente Darstellung der Sprache.
Der Tokenizer wird auf einem Textkorpus trainiert: häufige Zeichenfolgen werden zusammengefasst (S,u,r,f,b,o,a,r,d → Surf, board → Surfboard).
4 - Wie werden Sprachmodelle trainiert?
Pre-Training (unsupervised): Modell lernt grundlegendes Sprachverständnis aus Büchern, Webseiten, Wikis;
z. B. Causal Language Modeling, das nächste Wort vorhersagen
Instruction-Finetuning (supervised): Aufgaben bewältigen lernen mit Anleitung-Antwort-Paaren;
z. B. Supervised Instruction-Finetuning (SFT)
Post-Training (supervised + reinforcement): Modell an Präferenzen anpassen;
Ausgabekandidaten werden erzeugt und die bevorzugte gewählt; z.B. Reinforcement Learning from Human Feedback).
5 - Was ist Quantisierung?
Quantisierung beschreibt den Prozess: höher präzise Daten treu auf niedriger Präzise Daten zuzuweisen.
Bei LLMs werden die Modellparameter durch speichereffizientere Formate dargestellt.
6 - Wofür wird Quantisierung eingesetzt?
Um LLMs mit weniger Speicher und damit auf günstigerer Hardware zu betreiben.
7 - Was ist Context Engineering, was Prompt Engineering, und warum werden sie eingesetzt?
Context Engineering: gezielte Gestaltung dieses Kontexts
Prompt Engineering: systematische Bearbeitung des Kontexts, um die Ausgabe zu steuern und zu verbessern; z. B. Rollenverteilung, Formatierung, Teilaufgaben, Beispiele
Die meisten Modelle in Anwendungen haben eingefrorene Gewichte. Die einzige beeinflussbare Größe für Nutzer ist der Modellkontext: Prompts, Dokumente, Chats, Bilder, Videos, Code.
8 - Was ist Reasoning bei Sprachmodellen, und bei welchen Aufgaben hilft bzw. schadet es?
Reasoning ist die Fähigkeit eines LLMs, selbstständig Kontext zu transformieren, indem es Zwischentext erzeugt, um die weitere Verarbeitung zu verbessern.
Vorgänger: Chain-of-Thought-Prompting.
Hilfreich bei: logischen, mathematischen, zusammenfassenden und mehrteiligen Aufgaben
Unzuträglich bei: offene Schreibaufgaben und simplen Aufgaben
9 - Was ist Lost-in-the-Middle, was Context Poisoning, und wie beeinflussen sie Sprachmodelle?
Lost-in-the-Middle: Bei langem Kontext nutzen LLMs Informationen in der Mitte schlechter als am Anfang oder Ende. Gegenmittel: Kontext klein und prägnant halten.
Context Poisoning: Einschleusen schädlicher Inhalte in den Modellkontext, z. B. neue Anweisungen, Fehlinformationen oder manipulative Inhalte.
10 - Was sind Halluzinationen von Sprachmodellen?
Halluzinationen sind Textausgaben, die der zugrunde liegenden Wissensbasis untreu sind.
Das LLM “erfindet” Informationen aufgrund von fehlerhafter Datengrundlage oder Interferenzen mit schlechtem Prompting.
11 - Halluzinationen vermeiden?
Verbessern Modelltraining
Prompt Engineering
EInsatz Ensemble von LLms zum Debattieren der korrekten Antwort
12 - Was ist die Retrieval Augmented Generation?
Sprachmodell sucht sich Dokumente als Informationsgrundlage.
Bsp: RAG: Das Embeddingmodell wandelt die Dokumentabschnitte und deine Frage in Vektoren um, und die Vektordatenbank sucht die Abschnitte, die am nächsten an deiner Frage liegen.
13 - Was sind KI - Agenten
Autonome Systeme, die Aufgaben ausführen.
Agenten handeln gemäß einer Zielstellung und Abhängigkeit einer Eingangsgrößé
Beispiel Fähigkeiten: Tool-Calling (Programme ausführen), Planung und Gedächtnis, Multi-Agenten
Last changed22 days ago
