Disruptive Innovation am beispiel OpenAI
Der boi OpenAI hat begonnen als Tellerwäscher zu GPT3 Zeiten und jetzt ersetzt er Google
Warum ist das Thema “Large Language Models" relevant für Studenten im Kontext einer Vorlesung zu “Digital Business”?
Definition Large Language Models
Machine learning modelle, die gegeben einem Datensatz und einem Input, die nächstwahrscheinlichsten Wörter und Sequenz von Wörtern predicten
(next word prediction)
Supervised Learning bei LLMs
Semi-Supervised Learning: kleiner gelabelter Datensatz und größerer ungelabelter Datensatz. Mit dem kleinen Datensatz wird das Modell zur Klasifizierung trainiert. Ein Bild wird beispielsweise umgedreht und so beispiele, um das Modell zu trainieren ohne die Datensätze zu labeln.
Self-Supervised: Loss Funktion wird berechnet, um nächstes mal einen Wert zu finden, welcher näher am expected Output ist. Je kleiner der Loss, desto eher hat er das richtige Wort predicted.
Bei Loss = 0, das richtige Wort.
Bei positiven Loss = Gradient descent Algorithm: Alle Zahlen (gewichte) im Neuronalen Netzwerk so anzupassen, so dass die Ausgabe nächstes mal näher an Loss = 0 ist.
Was ist anders bei LLMs?
Die Modelle werden exponentiell besser, je mehr Parameter, Daten und je mehr Trainigszeit
Was ist das besondere bei LLMs?
Je größer das Modell, desto mehr zeigt es unvorhergesehene Funktionen (Aufgaben, welche es bewältigen kann.
From LLM -> Chat Modell
Fähigkeiten von LLMs
Limitierungen von LLMs
Risiken von LLMs
How to ChatGPT
Welche Herausforderungen können bei der Generierung einer geeigneten Datenbasis für Anwendungen des maschinellen Lernens auftreten? Nenne 5 Beispiele.
Bonus (nicht lernen) Liste mit Beschreibungen:
Datenqualität: Die Qualität der Daten kann ein Problem sein, wenn sie unvollständig, fehlerhaft oder ungenau sind.
Datenmenge: Eine ausreichende Menge an Daten ist oft erforderlich, um ein Modell zu trainieren, das gute Ergebnisse liefert.
Datenvielfalt: Daten sollten eine breite Vielfalt an Informationen enthalten, um ein Modell zu trainieren, das robust und allgemein anwendbar ist.
Datenschutz: Der Schutz personenbezogener Daten und die Einhaltung von Datenschutzgesetzen können die Verfügbarkeit und Nutzung von Daten einschränken.
Datenverteilung: Die Verteilung der Daten kann ein Problem sein, wenn sie ungleichmäßig oder nicht repräsentativ für die Bedingungen oder Probleme sind, für die das Modell entwickelt wird.
Nennen und erklären sie die beiden Kostenkomponenten, die im Rahmen des Standardisierungsproblems relevant sind.
Schildern Sie außerdem ein nachvollziehbares Beispiel einbes Standards sowie die Ausprägung der beiden Kostenkomponenten in diesem Fall.
Die Begriffe stimmen nicht, oben müsste Standardisierungskosten und unten Informationskosten stehen.
Aus Vorlesung:
Last changeda year ago
