How is the scientific field that deals with how computers can gain high-level understanding from digital images or videos called?
Computer Vision
What is non machine learning AI?
Wie trägt das Neuron Modell zur Historie von AI bei?
McCulloch & Pitt's neuron model (1943)
Mathematische formulierung eines biologischen neuron, konnte AND, OR, NOT probleme lösen
theoretische Grundlage für die spätere Entwicklung neuronaler Netze
The First AI Conference 1956
Dartmouth
Top scientists, mathematicians, and computer experts believed that it was possible to create machines that could think and reason like humans
2006 honoured for pioneering in ai
Was ist das Perceptron?
Rosenblatt 1957
Einer der ersten algorithmen der aus Daten lernen konnte
War physisch und bestand aus einem kabel geflecht
Gewichte wurden durch elektormotoren upgedated
erfassung des alphabets
linearer classifier
Was ist das Multi-Layer-Perceptron und was hat es ausgelöst?
Was folgte darauf?
Showed that Perceptrons could not learn the XOR function
Caused a lot of disillusionment in the field
Leads to more powerful multi-layer perceptron
erster AI winter mit einer periode in der es für AI nicht so vorran ging und rückschläge verzeichnet wurden
Was ist das Neocognitron?
Computational model the visual system, directly inspired by Hubel and Wiesel’s hierarchy of complex and simple cells
Interleaved simple cells
Convolution
Complex cells
Pooling
Looks a lot like AlexNet more than 32 years later
No Practical Training Algorithm!! No updating of parameters possible!!
Was ist Backpropagation?
Introduced backpropagation for computing gradients in neural networks
Successfully trained perceptrons with
multiple layers
Was war eins der ersten Convolutional Netwoorks?
LeNet —> Yann LeCun
Applied backprop algorithm to a Neocognitron-like architecture
Learned to recognize handwritten digits
Was deployed in a commercial system by NEC, processed handwritten checks
Very similar to our modern convolutional networks!
What followed after LeNet
2000s: “Deep Learning”
People tried to train neural networks that
were deeper and deeper
Not a mainstream research topic at this time
What were the olympics in computer vision?
Was ist Alex Net?
Tiefe Architektur: Mit 8 Schichten (5 Convolutional Layers, 3 Fully Connected Layers) eine der ersten tiefen neuronalen Netze, die erfolgreich trainiert wurden.
Durchbruch bei Bildklassifizierung: Gewann den ImageNet-Wettbewerb 2012 mit großem Vorsprung und markierte den Beginn des modernen Deep Learning Booms in der Computer Vision.
Nutzung von GPUs: AlexNet war eines der ersten Modelle, das massiv von GPU-Beschleunigung profitierte, was das Training deutlich schneller machte.
Was kam 2017?
2017: Transformer architecture
• New network architecture for NLP
• Expanding attention mechanism from 2014
• Basis for all modern chatbots and NLP tasks
Jüngere Geschichte der Netze
LeNet (1990er)
Erstes erfolgreiches CNN für Handschriftenerkennung. —> Anwendung von Backprop aufs NeoCognittron
Einführung von Convolutional und Pooling-Schichten.
AlexNet (2012)
Großes CNN, Gewinner von ImageNet 2012. 8 Schichten Tief, revulotionär
Nutzung von ReLU und GPUs für das Training.
GoogLeNet (2014)
Einführung des Inception-Moduls, um Rechenkosten zu reduzieren.
Effizientes, tiefes Netzwerk.
VGG (2014)
Tieferes Netzwerk mit bis zu 19 Schichten.
Konstante Nutzung von 3x3 Convolutionen.
ResNet (2015)
Einführung von Residual Blocks, um den Gradientenverlust zu bekämpfen.
Sehr tiefe Netzwerke mit über 100 Schichten. —> Bottleneck Block
DenseNet (2016)
Dichte Verbindungen zwischen allen Schichten.
Besserer Informationsfluss und weniger Parameter.
MobileNet (2017)
Optimiert für mobile Geräte, ressourcenarmes Training.
Verwendung von Tiefenfaltungs-Convolutionen.
EfficientNet (2019)
Skaliert Tiefe, Breite und Auflösung effizient.
Höhere Genauigkeit bei geringeren Rechenkosten.
Last changed2 months ago
