Transformer

• haben überlegene Perfornance beim Umgang mit komplexen genomischen Daten bewiesen

• genomische Daten -> Sprache der Biologie

• Tools die mit Sprachdaten umgehen können -> versteckte Muster in Sequenzen finden

• Achtet beim generieren von Output auf verschiedene Teile des Inputs

• Fähigkeit verschiedene Regionen und Beziehungen während des Interpretationsprozesses dynamisch zu betrachten

=> berechnet weighted sums von Input Features

• Weights (Attention scores) sind dynamisch durch Inputdaten bestimmt

• hilft mehr auf relevante Feautres zu achten

=> Erlaubt das parallele bearbeiten von Input

• schneller und effizienter

• besteht aus Stack von identischen Unterschichten

  • Multi-head Self-Attention

  • Positionell verbundene feed forward Netzwerke

  => kann Abhänigkeiten zwischen Input und Otuput unabhängig ihrer Distanz erkennen

Besonderheiten:

• Weit entfernete Abhängikeiten zwischen genoomischen Positionen zu erkennen

• mehrere relevante Regionen gleichzeitig zu erkennen

• Adaptiv auf auffällige Features zu fokusieren

=> sehr geeignet für genomische Daten

Neuronale Netzwerke mit mehreren Layern -> fähig komplexe Muster in größeren Datensätzen zu erkennen

• Multilayer Perceptron (MLP)

• Convolutional Neural Network (CNN)

• Recurrent Neural Network (RNN)

• Generative advrsarial Network (GAN)

• Graph Attention

• Reduial Networks (ResNets)

• Ada Boost

• Seq2Vec

• Variational Autoencoder (VAE)

• einfachste Form eines Deep learning Models

• Input Layer, 1 oder mehr Hidden LAyer, Output Layer

=> für Datensätze bei denen sich Input und Output nicht linearen Zusammenhang teilen

• ! nicht gut mit räumichen oder temporären Daten

• gut für räumlichen Input wie Bilder

• kann druch gefaltete Layer gut räumliche Abhängigkeiten erkennen

Aufbau:

• 1 oder mehr Convolutional Layer

• gefolgt von pooling Layer

• für medizinische Bildanalyse

• Gewebetypisierung

• Verbesserte Vatiante = long short term Memory (LSTM)

• Umgang mit aufeinander folgenden Daten in Memoryartigem Mechanismus

  • erlaubt von vorangegangenen Inputs der Sequent zu lernen

• Proteinvorhersage

• Verständins von genetischen Sequenzen

• besteht aus 2 neuronalen Netzwerken (Generator, Diskriminator) die konkurieren

• ermöglicht generieren von neuen syntetischen Daten ähnlich zu Trainingsdaten

• Medizin Entdektungen

• Individualmedizin

• gewichtet (weight) die Knoten (nods) in einem Graphen

• Molekularbiologie

• Strukturerkennung

• nutzt Abkürzungsverbindungen um das Problem von verblassenden Gradienten in neuronalen Netzwerken entgegenzuwirken

• Medizinische Bildanalyse

• verbindet mehrere schwache Klassifier um einen straken Klassifier zu erzeugen

• Sequrnzdatenverarbeitung

• Sequenz in fixed length Vektor Representation konvertieren

• genrealtive Modelle

• kann latente Representationen lernen

• Anomalie Erkennung

• Dimensionsreduktion

• nutzt nur Attention Mechanism

  • Self-Attention (Intra-Attention)

  • Multi-Head Attention

=> Soll Interkationen von verschiedenen Elementen einer Sequenz modelieren

• erkennt Abhänigkeit zwischen Elementen unabhängig ihrer Position in der Sequenz

• determiniert Ausmaß zu welchem Maß verschiedenen Teilen des Inputs Aufmerksamkeit geschenkt wird

• kreiiert Representation von einem Element welcher den Einfluss aller anderen Elemente der Sequenz auf dieses Elemtent festhällt

• berechnen eines Werts für jedes Elementpaar -> Sortmax um die Weights zu erhalten -> für weighted sum

=> erlaubt jedem Element mit jedem anderen Element zu interagieren

=> ganzheitliches Bild der Sequenz

• mehrere Self-Attention Mechanismen in Paralell

• jeder Head erhält einen Teil des Input Vektors

  • rechnent unabhänig von den anderen eine gelernte linerare Transformation auf den Input

  • Outputs verkettet und Linerar transformiert

=> ermöglicht dem Modell verschiedene Arten von Beziehungen und Abhängigkeiten festzuhalten

• Modell selbst hat keine Vorstellung von Reihenfolge der Input-Elemente (Permutation-invariant)

• bringt Information an welcher Position sich ein Element befindet

• werden zu den Input Enbeddings hinzugefügt

=> ermöglicht Modell Reihenfolge des Textes zu lernen/nutzen -> wichtig für strukturierte Daten wie Text

• häufig Sinus und Cosinus Funktionen in verschiedenen Fequenzen genutzt

• kann weit entfernte Abhängikeiten nutzen, mit ihnen umgehen

• da alle Elemente gleichzeitig miteinander interagieren, muss nicht alle Information in einen fixed hidden sate gequentscht werden -> führte häufig zu Informationsverlust

• Query (q)

  • Element für das die kontextabhänigen Represtentationen berechnet werden sollen

• Key (k)

  • Element gegen das Query berechnet wird um Weights zu bestimmen

• Value (V)

  • das Element das durch den Attention Score gewichtet wird um finalen Output zu generieren

=> Stammen alle von den Inputrepresentationen -> entstehen durch Multiplikation der inputsequenz mit gelernten Weight Matritzen

• Self-Attention berechent Attention Score für Query-Key Paar -> nimmt Dot-Produkt und wendet Softmax an (alle weights zwischen 0 und 1 -> ergeben in Summe 1)

=>Normalisiertes Maß der Attention/Wichtigkeit der jedem Element zugewiesen wird

• berechnet weighted sums der Value Werte -> weights durch Attention scores gegeben

=> Input für den nächsten Layer

=> erlaubt wahrnehmen welche Teile von Informationen wichtig sind und welche Elemente encodet werden

= Bilingual Evaluation Understudy

• Messverfahren für automatische Bewetung von maschinell übersetzten Texten

• Misst Ähnlichkeit des maschinell übersetzten Text mit Reihe von Referenzübersetzungen hoher Qualität

• zwischen 0 und 1

=> BLEU Werte über verschiedene Texte und Sprachen können nicht miteinander verglichen werden

• Typ von Maschienlern Algorythmus der Klassenlabel zu Inputdaten zuweist

• werden mit gelabelten Daten trainiert

• z.B. relevant in Bilderkennung

• Vektor mit Zahlen in Vekor mit Wahrscheinlichkeiten umwandeln

  • Dient NN als Aktivierungsfunktion der einzelnen Schichten

• Wird auf weighted sums aus Output des Neurons angewandt

• Ist nicht linerar -> so können auch nicht linerare Zusammenhänge erkannt werden

• wird genutzt wenn Neuron binäre Ausgabewerte hat (zwischen 0 und 1)

• Vekor als Input

=> gewährleistet immer das die Ausgabewerte in Summe gleich 1 sind

• representiert Element von Interesse

• abgeleitet von der aktuellen Postition in der Inputsequenz oder aus vorherigem Layer

=>Ähnlichkeit oder Relevanz zwischen dem Kontext und anderen Elemtenten in der Inputsequenz zu determinieren

• Projektion der Inputdaten und ist mit Element der Inputsequenz assoziiert

=> wird genutzt um zu berechnen wie wichtig jedes Element der Input Sequenz für das Query ist

=> wird als Skalarprodukt (q * k) berechnet

• auch Projektion der Inputdaten und mit jedem Element assoziiert

• erhällt eigentlichen Informationen die genutzt werden um Position der querys zu updaten

=> sind gewichted bei den Attention Scores (= q & k Interaktion) um zu determinieren wie viel jedes Element zum Output beiträgt

=> höhere Attention Scores bedeutet Value Vektoren sind wichtiger für den Output

• Skalarprodukt von Query (Apple) und Key (Chat, Apple, Tree) bestimmt wie wichtig jedes englische Wort im Satz zum englischen Wort “apple” ist

  => höhere Skalarprodukte = höhere Wichtigkeit

• Diese Scores werden genutzt um korrespondierende französiche Wörter zu gewichten

  => so kann Transformer auf Informationen aus der ganzen Inputsequenz zugreifen

  • basierend auf Relevanz des Querys zu jedem Key -> akkurate Übersetzungen und abbilden von komplexen Beziehungen

=> Attention scores -> Softmax -> Attention weigths

=> Attention weights + value Vekoren = Weighted sum

=> finaler Output für den Query Token

=> erlaubt Modell sich auf relevante Teile der Inputsequenz zu konzentrieren

• Abhänigikeiten zwischen Tokens erkennen

• Representationen die Kontextbewusst sind erstellen

• Komplexe Struktur dieser Daten

  • Genexpressionsdaten typischerweise als hochdimensionale Vektoren representiert

• Limitierte Verfügbarkeit von gelabelten Daten

  • oft zu kleiner Datensatz um DLM zu trainieren

  • Modelle mit großem Bias

• Genomisch und Epigenomische Daten sind oft sehr heterogen

  • verschiedene Datentypen

    • Sequenzierungsdaten

    • Genexpressionsdaten

    • Histonmodifikationsdaten

1. Keine sequenzielle Verarbeitung (RNNs)

   RNN) bearbeiten Daten Schritt für Schritt -> benötigen vorherige Zustände

   ATT) alle Positionen gleichzeitig betrauchten -> Prozess paralelisieren

2. langfristige Abhängikeiten lernen

   RNN) frühere Informationen gehen verloren -> kleine Gradieneten wegen Backpropagation

   ATT) kann direkt auf Tokens der Eingabe zugreifen

3. Kein festes Kontestfesnster (CNN)

   CNN) benutzen feste Kernelgröße -> beschränkt lokale Muster zu erkennen

   ATT) kann sich dynamisch auf relevante Bereiche fokusieren unabhängig von der Entfernung

4. Adaptiver Fokus (CNN/RNN)

   CNN) Gewichtung teilweise für ganzen Input gleich, oder festgelegt

   ATT) dynamisch entscheiden welche Teile des Inputs wichtig sind

5. Können auf riesigen Datensatz trainiert werden

• miRNA Vorhersagen

• RNA Bindeproteininteraktionen

  • dynamische und konditionsabhänige Natur von DNA Strukturen

  • Attention Mechanismus der spezifische RBP-Nukleotide identifiziert

• Promoter Erkennung

• Transkriptionsfaktorbindestellenerkennung

=> erfassen von informativen Musten und weitreichende Abhängigkeiten in genomischen Sequenzen

• Vorhersagen von Genexpressionen

  • anhand von Chromosomenmodifikationen

  • andere metagenomische Daten

• Vorhersagen von spezifischen Phänotypen

• Vorhersagen von RNA Splicestellen

• trennen von circRNA-RBP-Bindestellen

  • extrahiert lokale und globale kontextuale Informationen von circulären RNA Sequenzen

  • Sequenzen als Wörter und Mapped Subsequenzen in zugehörige Vektoren

  
  

• Transkriptionsfaktorbindestellenvorhersagen und und Charakterisirung

• Prokariotische Genomannotiation

  • Viele Attention Heads

  • Identifizieren von Transkriptionsfaktoren

  • Bindestelle und Konsensussequenz charakterisieren

  • verstehen von bekannten und neuen Elementen in Transkriptionsinitiation

• Krankheitsvorhersage

• Vorhersagen von Brustkrebs

  • Integrieren von Kopienzahlveränderungen und Genexpressionsdaten

• Genvorhersagemethode

  • Identifizieren von Eierstockkrebs

• Parkinsonvorhersagen

  • Blutzirkulationsmuster und Diffusionsmuster im Gehirn

• Vorhersagen von CRISPR Cas9 Editierungsergebnissen

  • Positional Encodings, Embeddings, Attention

  • Erfast semantische Zusammenhänge

• Single Guide RNA Knockout Effizienz

• Transkriptionsfaktor kooperationen erkennen

  • Itegrierte Gradienten um Attributionsscors für Motive in Sequenzen zu berechnen

  • Veränderungen in den Scores nach Motiv Mutation suggerieren potentielle Interaktion

• Einzelzell RNA-seq Analyse

  • Genzuschreibung und Zell Clustering Analyse

• Prognose von low-grade Glioma (Hirntumore)

  • Identifizieren von HILS1 als signifikantestes Gen für Prognose

  • Gen Attention Layer für jeden Datentypen (mRNA, miRNA)

• Identifikation von Krankheitsbetroffenen Genen

• Brustkrebs Subtyp Klassifikation

  • Attention Mechanismus um jedem Patient individuelle Biomoleulare Scores zuzuornden

• Anit-Krebs Komponenten Sensitivität

• Identifiziert N-terminale Sorting Signale in Peptiden

  • Zeigt einzigartige Verkettungsmuster in verschiedenen Proteingruppen und Zielpeptiden

• Modell das Medikamentenwechselwirkungen vorhersagt

  • Nutzt vershiedene Ähnlichkeitswerte von Medikamenteneigenschaften

• Vorhersage Medikamentenwechselwirkungen Modell 2

  • durch Medikamenteninduzierte Genexpression

• Vorhersagen syergetischer Medikamenteneffekte

  • zeigte neue Pathways die mit assoziierten Kombinationen in Verbindung stehen