1 - Intro

Computer Vision

• McCulloch & Pitt's neuron model (1943)

• Mathematische formulierung eines biologischen neuron, konnte AND, OR, NOT probleme lösen

• theoretische Grundlage für die spätere Entwicklung neuronaler Netze

• Dartmouth

• Top scientists, mathematicians, and computer experts believed that it was possible to create machines that could think and reason like humans

• 2006 honoured for pioneering in ai

• Rosenblatt 1957

• Einer der ersten algorithmen der aus Daten lernen konnte

• War physisch und bestand aus einem kabel geflecht

• Gewichte wurden durch elektormotoren upgedated

• erfassung des alphabets

• linearer classifier

• Showed that Perceptrons could not learn the XOR function

• Caused a lot of disillusionment in the field

• Leads to more powerful multi-layer perceptron

• erster AI winter mit einer periode in der es für AI nicht so vorran ging und rückschläge verzeichnet wurden

• Computational model the visual system, directly inspired by Hubel and Wiesel’s hierarchy of complex and simple cells

• Interleaved simple cells

  • Convolution

• Complex cells

  • Pooling

• Looks a lot like AlexNet more than 32 years later

No Practical Training Algorithm!! No updating of parameters possible!!

• Introduced backpropagation for computing gradients in neural networks

• Successfully trained perceptrons with

  multiple layers

LeNet —> Yann LeCun

Applied backprop algorithm to a Neocognitron-like architecture

Learned to recognize handwritten digits

Was deployed in a commercial system by NEC, processed handwritten checks

Very similar to our modern convolutional networks!

2000s: “Deep Learning”

People tried to train neural networks that

were deeper and deeper

Not a mainstream research topic at this time

Tiefe Architektur: Mit 8 Schichten (5 Convolutional Layers, 3 Fully Connected Layers) eine der ersten tiefen neuronalen Netze, die erfolgreich trainiert wurden.

Durchbruch bei Bildklassifizierung: Gewann den ImageNet-Wettbewerb 2012 mit großem Vorsprung und markierte den Beginn des modernen Deep Learning Booms in der Computer Vision.

Nutzung von GPUs: AlexNet war eines der ersten Modelle, das massiv von GPU-Beschleunigung profitierte, was das Training deutlich schneller machte.

2017: Transformer architecture

• New network architecture for NLP

• Expanding attention mechanism from 2014

• Basis for all modern chatbots and NLP tasks

1. LeNet (1990er)

   • Erstes erfolgreiches CNN für Handschriftenerkennung. —> Anwendung von Backprop aufs NeoCognittron

   • Einführung von Convolutional und Pooling-Schichten.

2. AlexNet (2012)

   • Großes CNN, Gewinner von ImageNet 2012. 8 Schichten Tief, revulotionär

   • Nutzung von ReLU und GPUs für das Training.

3. GoogLeNet (2014)

   • Einführung des Inception-Moduls, um Rechenkosten zu reduzieren.

   • Effizientes, tiefes Netzwerk.

4. VGG (2014)

   • Tieferes Netzwerk mit bis zu 19 Schichten.

   • Konstante Nutzung von 3x3 Convolutionen.

5. ResNet (2015)

   • Einführung von Residual Blocks, um den Gradientenverlust zu bekämpfen.

   • Sehr tiefe Netzwerke mit über 100 Schichten. —> Bottleneck Block

6. DenseNet (2016)

   • Dichte Verbindungen zwischen allen Schichten.

   • Besserer Informationsfluss und weniger Parameter.

7. MobileNet (2017)

   • Optimiert für mobile Geräte, ressourcenarmes Training.

   • Verwendung von Tiefenfaltungs-Convolutionen.

8. EfficientNet (2019)

   • Skaliert Tiefe, Breite und Auflösung effizient.

   • Höhere Genauigkeit bei geringeren Rechenkosten.