Was ist ein Large Language Model (LLM)?
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und Texte versteht, generiert und kontextbezogen fortsetzt.
Was sind die drei zentralen Bausteine eines LLM?
Transformer-Architektur, Pre-Training, generatives Sprachmodell.
Was bedeutet 'Generative'?
Das Modell sagt das nächste Wort basierend auf vorherigem Kontext vorher – es erzeugt neuen Text.
Was bedeutet 'Pre-trained'?
Das Modell wurde mit selbstüberwachtem Lernen auf großen Textkorpora trainiert und kann danach für viele Aufgaben genutzt werden.
Was ist die Transformer-Architektur?
Ein neuronales Netz mit Self-Attention, das Zusammenhänge zwischen Wörtern unabhängig von ihrer Position erkennt.
Was ist Self-Attention?
Ein Mechanismus, bei dem jedes Wort seine Beziehung zu anderen Wörtern im Satz gewichtet – Kontextverständnis entsteht.
Was sind Query, Key und Value im Transformer-Modell?
Query (Frage), Key (Schlüssel) und Value (Wert) sind Vektoren, die Beziehungen zwischen Token bestimmen.
Was sind Token?
Elementare Einheiten eines Texts (z. B. Wörter oder Wortteile), die das Modell verarbeitet.
Was sind N-Gramme?
Folgen von N aufeinanderfolgenden Zeichen oder Wörtern, z. B. Bigramme (2), Trigramme (3).
Was zeigen Wort-Embeddings?
Sie kodieren semantische Ähnlichkeiten zwischen Wörtern in einem Vektorraum – ähnliche Wörter liegen nahe beieinander.
Was war die zentrale Erkenntnis von Mikolov et al. (2013)?
Wortbedeutungen lassen sich als kontinuierliche Vektoren darstellen (word2vec, 'king - man + woman ≈ queen').
Was bedeutet 'The Bitter Lesson'?
Allgemeine, rechenintensive Methoden übertreffen spezialisierte Ansätze langfristig (Sutton, 2019).
Was ist das Ziel von LLMs?
Sprache verstehen, generieren, übersetzen und auf komplexe Fragen kontextbezogen antworten.
Was unterscheidet LLMs von klassischen NLP-Modellen?
LLMs sind skaliert (Milliarden Parameter), lernen kontextuell und können vielseitig eingesetzt werden.
Was ist ein Parameter in LLMs?
Ein Gewicht im neuronalen Netz, das während des Trainings angepasst wird; LLMs haben Milliarden davon.
Was bedeutet 'Scaling Laws'?
Leistung von Modellen wächst systematisch mit Datenmenge, Modellgröße und Rechenleistung.
Was ist ChatGPT?
Ein LLM auf Basis des Transformer-Modells, das durch Reinforcement Learning from Human Feedback (RLHF) für Konversationen optimiert wurde.
Wie funktioniert RLHF?
Menschen bewerten Modellantworten; das Modell wird durch Belohnungssystem auf bevorzugte Antworten trainiert.
Was ist DeepSeek-V2?
Ein effizientes Mixture-of-Experts-Modell mit spezialisierter Rechenlastverteilung (DeepSeek-AI, 2024).
Was ist der Zusammenhang zwischen LLMs und Attention-Mechanismen?
Attention ermöglicht es LLMs, relevante Kontextteile zu fokussieren und langfristige Abhängigkeiten zu erfassen.
Was bedeutet 'Prompt'?
Eine Eingabeaufforderung oder Frage, die das Verhalten eines LLMs steuert.
Was sind typische Anwendungsfelder von LLMs?
Chatbots, Übersetzung, Code-Generierung, Wissensextraktion, Kreativtexte.
Was ist ein Nachteil von LLMs?
Sie können Halluzinationen erzeugen (falsche, aber plausible Antworten) und sind schwer erklärbar.
Was bedeutet 'Halluzination' bei LLMs?
Wenn ein Modell scheinbar korrekte, aber faktisch falsche Aussagen erzeugt.
Was ist 'On the Biology of a Large Language Model' (Lindsey et al., 2025)?
Ein Forschungsansatz, der neuronale Aktivierungsmuster in LLMs mit biologischen Strukturen vergleicht.
Was zeigt die Arbeit von Dosovitskiy et al. (2021)?
Transformer-Modelle funktionieren auch für Bilder (Vision Transformer).
Wie verändern LLMs die Industrie?
Sie automatisieren Wissensarbeit, generieren Code, Texte, Analysen und interagieren mit Benutzern in natürlicher Sprache.
Welche ethischen Herausforderungen ergeben sich bei LLMs?
Fehlinformation, Bias, Datenschutz, Transparenz und Kontrolle der Modelle.
Was ist das Fazit der Vorlesung zu LLMs?
LLMs basieren auf Transformer-Architektur, skalieren mit Daten und Rechenleistung und verändern Kommunikation und Arbeit grundlegend.
Zuletzt geändertvor 2 Monaten