Warum haben LLMs Relevanz für WI und Winf Studenten?
Unternehmen arbeiten mit natürlicher Sprache
LLMs transformieren Geschäftsprozesse
LLMs bieten neue Produktivitätsinstrumente
Was sind LLMs?
Large Language Models (LLMs) sind eine Klasse von maschinellen Lernmodellen, die trainiert werden, um die Wahrscheinlichkeit einer Folge von Wörtern in einem vorhergehenden Kontext vorherzusagen. Diese Modelle beruhen auf dem Konzept der Sprachmodellierung, bei dem das Ziel darin besteht, die Wahrscheinlichkeitsverteilung von Wörtern in einer bestimmten Sprache zu schätzen.
Stelle die grundlegende Funktionsweise von LLMs dar!
Wie kann Supervised Learning weiter untergliedert werden?
Semi-Supervised Learning
Self-Supervised Learning
Was zeichnet semi-supervised learning aus?
Labeled data und unlabeled data
Was zeichnet self-supervised learning aus?
Unlabeled Data -> Überwachungssignal wird aus nicht gelabelten Daten erzeugt
Stelle die grundlegende Funktionsweise von Self-Supervised Learning eines LLM dar!
Was machte ChatGPT besonders?
Skalierbarkeit durch:
Modellparameter
Datensatzgröße
Trainingsberechnung
Was sind Emergent Abilities?
Eine Fähigkeit ist emergent, wenn sie in kleineren Modellen nicht vorhanden ist, aber in größeren Modellen vorhanden ist.
Stelle Ermergent Abilities dar!
Was macht LLMs gegenüber Chat Models besonders?
Von Vorhersage des nächsten Worts zu Multi-Tasking
Few-Shot Prompting
Fine-Tuning
Was ist Few-Shot Prompting als Eigenschaft von LLMs?
Gebe dem LLM ein paar Beispiele für eine Aufgabe, von denen es verallgemeinern soll.
Was ist Fine-Tuning als Eigenschaft von LLMs?
Passe ein LLM mit zusätzlichen, aufgabenspezifischen Daten an
Was ist eine beispielhafte Anwendung von Few-Shot Prompting?
Sentiment-Analyse
Stelle den ersten Schritt von Fine-Tuning dar!
Stelle den zweiten Schritt von Fine-Tuning dar!
Stelle den dritten Schritt von Fine-Tuning dar!
Was sind Fähigkeiten von LLMs?
Schreiben
Product Insights
Chatbots
Personalisiertes Tutoring
Ideation (Ideenfindung)
Codegenerierung
Code Review
Automatisierte Dokumentation
Übersetzung
…
Welche Limitationen von LLMs können unterschieden werden?
Harte Limits
Softe / weiche Limits
Vom Benutzer kreierte Limits
Was sind harte Limits von LLMs?
Physikalische Aufgaben
Visuelle / auditive Informationen
Was sind softe Limits von LLMs?
Figurative Sprache
Emotionen
Logik
Fakten
Was sind vom Benutzer kreierte Limits von LLMs?
Unvollständige Informationen
Mehrdeutige Informationen
Fehlende Informationen
Was sind Risiken von LLMs?
Bias und Diskriminierung
Missinformation und Desinformation
Arbeitsplatzverdrängung (job displacement)
Fehlende Transparenz und Nachvollziehbarkeit (accountability)
Bedenken hinsichtlich des Schutzes der Privatsphäre
Gefahr der Waffennutzung (Weaponization)
Was ist der erste Schritt für eine gute Nutzung von ChatGPT?
Verstehe, was es ist und wie es trainiert wurde
Wie wurde ChatGPT trainiert?
• Self-Supervised Pre-Training
• Supervised Fine-Tuning
• Reinfrocement Learning von menschlichen Feedback
• Dialog System
• Next-Word-Prediction
Stelle dar, wie ChatGPT trainiert wurde!
Was ist der zweite Schritt für eine gute Nutzung von ChatGPT?
Kontext ist wichtig: Je mehr, desto besser
Beschreibe: dich selbst udn deine Intentionen, die Umgebung, das Publikum, jede Information, die relevant sein könnte
Was ist der dritte Schritt für eine gute Nutzung von ChatGPT?
Definiere eine Rolle für ChatGPT
Sage ChatGPT, es solle als Ausbilder, Geschichtenerzähler, Code Reviewer, Akademiker fungieren.
Benutze die Rolle, die zur Aufgabe passt
Was ist der vierte Schritt für eine gute Nutzung von ChatGPT?
Kettenanweisungen
Habe keine Angst, komplexe Aufgaben zu geben
Breche Aufgaben herunter
Beschreibe, wie jede Unteraufgabe ausgeführt werden soll
Benutze “Falls” und “Ansonsten” um mehr Struktur zu geben
Was ist der fünfte Schritt für eine gute Nutzung von ChatGPT?
Sei sehr spezifisch: Adjektive sind deine Freunde
Benutze viele spezifische Adjektive
Beschreibe nicht nur, was du willst, sondern auch, wie du willst, dass es getan wird
Gebe ausdrückliche Beispiele
Was ist der sechste Schritt für eine gute Nutzung von ChatGPT?
Beispiele (Bezug zu Few-Shot Prompting)
Beispiele helden ChatGPT die Aufgabe zu verstehen
Insbesondere, wenn die Aufgabe schwer zu beschreiben ist oder wenn du eine bestimmte Struktur der Antwort möchtest
Was ist der siebte Schritt für eine gute Nutzung von ChatGPT?
Frage Follow-Up Fragen
Gebe Feedback für den Output
Ziehe spezifische Forderungen ein, um Teile zu ändern
Wiederhole verfehlte Anweisungen
Trete in Dialog!
Was ist der achte Schritt für eine gute Nutzung von ChatGPT?
Sei vorsichtig über Fakten
ChatGPT ist sehr überzeugend, aber nicht immer richtig
Frage ChatGPT in einer neuen Unterhaltung, ob seine eigenen Aussagen wahr sind
Überprüfe alles, insbesondere Quellen
Was ist der neunte Schritt für eine gute Nutzung von ChatGPT?
Der Kontext bleibt bei dir
Alles in der aktuellen Unterhaltung wird als Kontext für den nächsten Input verwendet
Öffne eine neue Unterhaltung für drastische Kontextänderungen
Beziehe dich auf vorherige Gesprächsthemen
Zuletzt geändertvor 2 Jahren