V12 Generative KI

Diskriminatives Modell:

• lernt p(y | x), also eine Entscheidungsfunktion

• modelliert die Entscheidungsgrenze, nicht die Daten; auch untypische Eingaben erhalten eine Klasse

• Beispiele: logistische Regression, Random Forest, SVM, CNN

Generatives Modell:

• lernt die Datenverteilung p(x), klassisch p(x, y)

• erlaubt Bewertung (p(x) klein ⇒ untypisch) und Erzeugung neuer Daten durch Sampling

• Beispiele: Naive Bayes, GAN, VAE

• Lernt die Wahrscheinlichkeitsverteilung der Trainingsdaten und kann daraus neue Daten erzeugen (Sampling).

• generative KI ist Teil von Deep Learning

• Ausgabe: z.B: Bildgeneration

• nicht physikalische Gesetze

1 - Oberbegriff Strukturoptimierung: Physik, Simulation, Optimierung als Grundlage

• Topologieoptimierung: Struktur wird schrittweise reduziert

• Generatives Design: Struktur wird aus Grundmodell iterativ geschaffen

2- Generative KI: Grundlage sind Trainingsdaten, nicht Physik. Erzeugt durch Sampling neue Daten.

• Generative Adversarial Network: Zwei Netze spielen gegeneinander Fälscher gegen Detektiv. Ein Generator fälscht, ein Diskriminator prüft; beide werden gegeneinander trainiert. Bis Fäschung nicht mehr erkennbar ist. (Implizit)

• Variational Autoencoder: Zusammenpressen und wieder Auspacken der Eingabedaten. Daten werden komprimiert und rekonstruiert, Eingaben werden auf Wahrscheinlichkeitsverteilung abgebildet. Aus dem kontinuierlichen Raum kann man dann wieder Sampeln.

• Diffusionsmodell: Bild wird schritt für schritt Rauschen zugesetzt. Das Modell lernt, Rauschen schrittweise zu entfernen.

• Autoregressive Modelle(Basis von Claude Chat Gpt): Zerlegen von p(x) in eine Kette. Jedes Element wird aus den vorherigen vorhergesagt Token für Token.

• Steuerbarkeit (Inhalt kontrollieren)

• Konsistenz (Ergebnis <-> Eingaben)

• Kohärenz (reale Produkteigenschaften und Physik)

• Anpassbarkeit (Finetuning)

• Kosten (Datenmengen, Schutzrechte)

Entlang des V-Modells: Ideenfindung, Anforderungsmanagement, Systementwurf, Design, Verifikation und Validierung, CAD-CAM-Pipeline, Software-Generierung

Potenziale in der Entwurfsphase:

• schnelle Lösungsgenerierung, Lösungsraum absuchen

• Paradigmenwechsel: frühe Exploration vieler Designoptionen statt iterativem Vorgehen

• Effizienz: weniger teure späte Änderungen

• bessere Zusammenarbeit und Visualisierung

Autoencoder:

• neuronales Netz, unsupervised bzw. self-supervised

• Encoder → latenter Raum → Decoder, dient der Dimensionsreduktion (Kompression und Rekonstruktion)

• Problem: Der latente Raum ist nicht kontinuierlich. Jede Eingabe wird auf einen festen Punkt abgebildet, und Punkte dazwischen ergeben keine sinnvolle Ausgabe.

VAE:

• Der Encoder gibt zwei Vektoren aus, Mittelwert und Standardabweichung. Er modelliert also eine Wahrscheinlichkeitsverteilung statt eines Punkts.

• Die optimierte Lossfunktion (Rekonstruktion + Regularisierung) sorgt für eine geglättete, lückenlose Verteilung.

• Dadurch sind Interpolation zwischen gelernten Klassen und die Erzeugung neuer Daten durch Sampling möglich, der VAE ist also ein generatives Modell.

Auf Diffusion Models, z. B. Midjourney, Stable Diffusion, DALL-E 3.

• Datengenerierung über einen umgekehrten Diffusionsprozess

• Markov-Kette: Bei jedem Schritt wird Rauschen hinzugefügt.

• Conditional Modeling: Die Datenverteilung wird an jedem Schritt erfasst.

• Ein neuronales Netz lernt den umgekehrten Prozess und stellt so Bilder her.