KNN

Computer:

• Transistoren als kleinste Einheit

• Serielle Informationsverarbeitung (ca. 4,6 GHz)

• Datenspeicherung auf Basis von Adressen

• Hoher Aufwand zur Erfassung großer Zusammenhänge

Gehirn:

• Neurone als kleinste Einheiten

• Massiv parallele Informationsverarbeitung (max. 500 Hz/ APs)

• Datenspeicherung assoziativ

(Ortserfassung mit Erinnerung verknüpft)

• Hoher Aufwand zur Erfassung kleiner Details

Zelle

Grundgewebe

Dekrementierung von nacheinander ankommenden Reizen

• Kein Gedächtnis

• Kein Reset möglich (Reize, die auf einmal von unterschiedlichen Seiten kommen)

Integral mit Verlustfunktion / Eimer mit Loch

• über durch Interneurone durchgeführte Rekurrenz/Rückkopplung

  • Output wird schnell wieder an das Neuron zurückgeleitet

  • Dies resultiert in der Funktion eines Leaky Integrators

• Einzelnes Signal (Input) wird dann z.B. immer aktiv abgeschwächt und man muss nicht auf weitere Inputs warten

  • Ständiger Reset bei neuem Input

• W/Omega < 1

  • Abschwächung

    
    

• W/Omega > 1

  • Verstärkung bis z.B. Schwellenwert

• (Bilder !!! Klappt bei mir gerade nid)

• Verbindungsgewichte (Omega / Nü); Outputneurone; Inputsignale müssen in Matrizen dargestellt werden

• Vestibulo Okular Reflex (Polysynaptischer Reflex)

• Einstellen des Gleichgewichts vom Auge nach z.B. einem Schlag auf den Kopf

• Modulation mit Gedächtnis

1) parallel Pathway

2) Feedback Modell

• Kautensehen Limulus: 2-schichtiges Netz

• Laterale Inhibition hingegen arbeitet nicht mit periodischen Mustern(s. CPG), sondern fokussiert sich auf die Verstärkung von Kontrasten zwischen benachbarten Neuronenaktivitäten, was vorrangig bei der sensorischen Verarbeitung, wie z. B. der visuellen oder taktilen Wahrnehmung, genutzt wird

• Mehrere Inputs durch benachbarte Neuronen, die jeweils visuelle Reize (Inputs) wahrnehmen

• CPGs verwenden ihre neuronalen Netzwerke, um periodische, rhythmische Muster zu erzeugen, die z. B. motorische Bewegungen steuern.

  • -> Laufen, Fliegen, Schwimmen, Verdauen, Herzschlag

• Ein eingehendes Signal/ Reiz (Input) wird in mehreren nachfolgenden Neuronen verarbeitet

• z.B. Koordinierte Kontraktionen im Verdauungs-System des Hummers

• Gegenseitige Hemmung und Erregung von benachbarten Neuronen

• Feedforward

  • V/Nü (Verbindungsgewichtsmatrix von X auf Y) macht den Job

• Recurrent

  • W/Omega (rekurrente Verbindungsmatrix von Y auf Y) macht den Job

2-fache räumliche Ableitung mit VZW

Kern der Modellierungsart von Inputsignalen bei der Lateralen Inhibition

• -1 ; 2 ; -1

• reine Interaktion mit dem Nachbarn links und rechts

• nicht nur Interaktion mit den direkten Nachbarn

  • auch mit weiteren (On-Off-Zellen)

• Sombrero Funktion als Bspl

Bild!

• 1: Ereignis sorgt für Aktivierung von Neuronen

• 2: Lernen

  • Verbindung von aktivierten Neuronen wird verstärkt

• 3: neues Ereignis

  • vorerst aktive Neurone werden nicht mehr benötigt also deaktiviert

  • starke Verbindung besteht aber weiterhin

• 4: “Erinnern“

  • Muster wird wieder vervollständigt

• 1: Hepp Pur (deltawij=yi+yj)

• 2: Postsynaptisch (deltawij=yi*(2yj-1))

• 3: Präsynaptisch (deltawij=(2yi-1)*yj)

• 4: Hopfield (deltawij=(2yi-1)*(2yj-1))

• Muster erkennen

  • Gesichtererkennung

• Es ist unsupervised

  • es entsteht unterbewusst bzw. ohne aktive Benachrichtigung des Gehirns

• 2-schichtiges KNN

  • z. B. 1. Schicht Feature-Schicht ; 2. Schicht Bewertungs-Schicht

• Durch Eigenschaftsräume (Schubladen im Hirn)

  • wenn ein Gesicht zum Beispiel lange „gescannt“ wurde kann das Gehirn besondere Features in die Eigenschaftsräume packen

• In der Output-Schicht (z.B. Bewertungs-Schicht) gewinnt am Ende nur maximal ein Neuron

  • Neurone stehen in Konkurrenz

• Daraufhin werden die Verbindungsgewichte auf den Gewinner angepasst

  • ein iterativer Prozess

• c. Neuron mit maximaler Antwort gewinnt

  d. Anpassung Verbindungsgewichte

SOM = self organizing maps (auch Kohonen-Prozess)

Face Cells

1) Erzeugung des neuronalen Netzes

2) aus den ganzen Outputs das Siegerneuron identifizieren

3) Gewichtungen des Neurons anpassen (lokal)

• Gewinner verstärken

• Verlieren abschwächen

• → Entstehung von Karten durch ständiges Durchlaufen des Prozesses

  • Sortierung von Frequenzen im auditorischen Kortex zum Beispiel

• 3-Schichtiges KNN

  • Input-Layer

  • Hidden-Layer

  • Output-Layer

• Muster-Muster Verknüpfung

  • z.B. Sprachen lernen

• Im Vorhinein muss bekannt sein, welche korrekten Output man erwartet und welche richtig sind

• Input → Output → vgl. mit korrektem Output → Fehlersignal (Berechnung des Fehlers) → Backpropagation (Fehlerrückführung) → Anpassung der Gewichtungen

a. Leaky Integrator Rückkopplung des Neurons

b. Y(t)=vx(t-1)+wy(t-1)

c. Ausgabe(Zeit)=Gewichtung*Eingabe(Zeit-1)+Leaky Integrator*Ausgabe(Zeit-1)

d. Verstärkende oder Dämpfende Funktion

a. Patellasehnenreflex muss schnell eine Anwort braucht, um ein Kippen oder Fallen zu

verhindern -> Monosynaptisch

b. Gegebenheiten wie Krafteinfluss von außen müssen mit einbezogen werden -> nicht

Monosynaptisch

a. Willkürliche, rasche und gleichartige Reaktion eines Organismus auf einen Reiz

b. Zum Schutz vor Außeneinwirkungen und Verletzungen

a. Kiemenrückzugreflex -> Monosynaptisch

b. Habituation = Reflex wird bei jedesmal nutzen abgeschwächt

c. Dishabituation = Erregung eines anderen Reizes oder durch zei

Aplysia= Gattung von Meeresschnecken

• ein monosynsptischer Schutzrefelx der bei einer Rezung der Kiemen diese zum Schutz in den Körper zurückzieht

• bei mehrfacher Reizung der gleichen Intensität&STelle schwacht die Stärke der Reaktion ab(=Habituation)

• wenn danach unterschiedlich gereizt wird kommt es wieder zum vollständigen Rückzug (=DIshabituation)

a. Recurrent: Signal wird nach dem Axonhügel auf Axonhügel der Nachbarneuronen

mit aufgeteilt und behindert diese nach einer Signalentstehung

b. Feedforward: Signal wird vor dem Axonhügel zu den Axonhügeln der Nachbarn

geworfen, somit schon bevor ein Signal entsteht

a. Hidden layer zwischen Input und Output

b. Vergleich von Muster

• eine Zelle

• Leitet Informationen weiter

• y=v*x

• Bild!

• Kombination aus mind. 2 Neuronen die miteinander verschaltet sind und sich so gegenseitig hemmen & verstärken

  • können so Muskelbewegung verursachen

  • ->wichitg für motorische Vorgäng wie schwimmen und laufen

Reafferenzprinzip= neurobiologisches Modell zur Bewegungskontrolle

VOR=

bei Reaff.: bewusste gewollte Kopfbewegung wird neuronal verrbeitet

bei VOR: ungewollte plötzliche Kofbewegung, Reaktion motorisch durch Reflex ohne normale neuronale Verarbeitung

=>Reaf= bewusst, mit Neuronen

=>VOR = ungewollt, ohne Neuronen

• Self Organizing Maps nach Kohonen

• beschreibt Phänomen das sich im Gehirn Bereiche spezialisieren&organisieren

• dadurch sind in verschiedenen Gehirnbereichen verschieideen bekannte Muster gespeichert, die dann wiedererkannt bzw. vor allem vervolständigt werden können

• dient der Kantendetektkion indem bei Reizung eines Neurons die Nachbarneuronen gehemmt werden

• mathem. ist es die numerische dikrete 2. Ableitung mit Vorzeichenwechsel

• Matrix, alle Werte haben auf der Hauptdiagonalen den Wert 2 und alle Werte links&rechts daneben inneralbt einer Zeile den Werte -1, di eanderen sind 0

  • die -1 Werte stehen für die Hemmung der Nachbarn

  • die 2 Werte für die Stärkung des gereizten Neurons

• unsupervised (Autoassoziativ, Kompetitiv)

• supervised

• evtl. deep learning/self supervised

• Rückführung von Infos beim supervised Learning durch Backpropagation also durch das gleiche Netz

• in Biologie: Informationsleitung nur in eine Richtung daher mit Schleifen

• dient zur vervollständigung von Mustern

• im Falle von Gesichterkennung könnnen Gesichter erkannt werden, auch wenn die nur teilweise oder seitlich gesehen werden

  • im Gehirn wird das unvollständige Gesicht mit bekannten Gesichtern verglichen, dann eins erkannt und so zugeordnet

• 2 schichtiges Netz zur Musterzuordnung

• Bildung von SOM

• die Neuronen wetteifern und nur das Siegerneuron gewinnt, die Nachbarn antworten aber besser