Welche grundlegenden Arten des Machine Learning gibt es?
Unsupervised Learning (ohne Labels, Muster finden), Supervised Learning (mit gelabelten Beispielen), Reinforcement Learning (Lernen durch Belohnung), Active Learning. — Ziel: aus Erfahrung (Daten) Wissen gewinnen.
Was unterscheidet supervised, unsupervised und reinforcement learning?
Supervised: lernt aus gelabelten Daten (Eingabe → bekannte Ausgabe), z.B. Klassifikation. Unsupervised: findet Strukturen in ungelabelten Daten, z.B. Clustering. Reinforcement: ein Agent lernt durch Belohnung/Bestrafung aus Interaktion. — Kern: mit Labels, ohne Labels, oder über Belohnung.
Was ist die Grundidee eines neuronalen Netzes?
Ein Graph aus Neuronen (Knoten), die über Synapsen (Kanten) verbunden sind; jedes Neuron verarbeitet Eingangssignale zu Ausgangssignalen. — Aufbau in Schichten: Eingabeschicht → Zwischenschicht(en) → Ausgabeschicht.
Was ist der Unterschied zwischen Feedforward- und Recurrent-Netzen?
Feedforward: Signale fließen nur vorwärts (keine Rückkopplung). Recurrent (RNN): besitzen Rückkopplungen/Zustände, verarbeiten Sequenzen (Ausgabe hängt von früheren Eingaben ab). — RNNs eignen sich für sequenzielle Daten (Text, Zeitreihen).
Was ist ein Seq2Seq-Modell?
Ein Encoder-Decoder-Modell: der Encoder fasst die Eingabesequenz in einen Kontextvektor zusammen, der Decoder erzeugt daraus die Ausgabesequenz. — Anwendung z.B. Übersetzung. Attention verbessert es, indem der Decoder gezielt auf relevante Encoder-Teile zugreift.
Was ist BERT und wie wird es trainiert?
BERT (Bidirectional Encoder Representations from Transformers): bidirektionales Modell, das den Kontext links UND rechts nutzt. Training: unsupervised Pretraining (Masked Language Modeling: ~15 % der Token maskieren + Next Sentence Prediction) + Fine-Tuning. — Datensatz: BooksCorpus + Wikipedia.
Was ist GPT und sein Trainingsprinzip?
GPT (Generative Pretrained Transformer): generatives Modell, das per unsupervised Pretraining den nächsten Token aus den vorherigen vorhersagt. — Im Gegensatz zu BERT (bidirektional) arbeitet GPT autoregressiv (nur vorwärts). Skalierung (mehr Daten/Parameter) → längere kohärente Texte (GPT-2).
Was kennzeichnet GPT-4o?
„omni": multimodal (Text, Bild, Audio, Video in Ein- und Ausgabe), großer Kontext (128k Token), weniger Falschinformationen und schneller als GPT-3.5. — Effizientere Tokenisierung in vielen Sprachen.
Was ist das Besondere an LLaMA?
Large Language Model Meta AI (Meta): in mehreren Größen (6,7B–65B Parameter), höhere Parametereffizienz – solide Performance (~GPT-3) bei deutlich weniger Parametern. — Gedacht für NLP-Forscher mit begrenzten Ressourcen.
Was ist Semantic Search (und die Kombination mit LLMs)?
Wissen und Suchanfrage werden in denselben abstrakten Vektorraum abgebildet (Embeddings); gesucht wird nach „nahen" Dokumenten. Mit LLMs: nahegelegene Dokumente als Kontext nutzen (RAG) → spezialisiertes Wissen, Quellenangabe möglich. — Grundlage moderner KI-Suchsysteme.
Was besagt das „No Free Lunch"-Theorem?
Es gibt keinen universell besten Lernalgorithmus: über alle möglichen Probleme gemittelt ist jeder Algorithmus gleich gut. — Konsequenz: die Wahl des Verfahrens muss zum konkreten Problem passen; A ist genauso oft besser als B wie umgekehrt.
Welche Formen des Prompt Engineering gibt es?
Instruction Prompting (präzise Anweisung), Role Prompting (Rolle zuweisen, z.B. „Du bist Mathelehrer"), Shot-Prompting (Beispiele im Kontext geben), Combination Prompting (Kombination) und Step-by-step Prompting („denke Schritt für Schritt"). — Ziel: das Modell gezielt steuern.
Was macht einen guten (strukturierten) Prompt aus?
Spezifisch sein, Kontext angeben, ggf. Beispiele und Format/Länge vorgeben (Modifikation + Thema + weitere Modifikationen). — Schlecht: „Write something about science". Gut: „Schreibe einen 500-Wörter-Blogpost für 10–12-Jährige, der Photosynthese einfach erklärt und wichtige Begriffe hervorhebt."
Was ist „Few-Shot Learning" bei LLMs?
Dem Modell werden im Prompt einige Beispiele (Shots) gegeben, an denen es die Aufgabe erkennt – ohne erneutes Training. — Zero-Shot = kein Beispiel, One-Shot = ein Beispiel, Few-Shot = mehrere Beispiele.
Zuletzt geändertvor 9 Tagen