Large Scale Training

methode bei der zunächst ungelabelte daten für training verwedent werden und eine diskrete und verständliche representation zu lernen.

pre training

tu so als gäbe es einen teil deines inputs den du nicht kennst und sage den voraus

ich brauche keine menschlich erstellten labels

viele daten

günstige daten

inpainting: teil des bildes löschen

Färbung

Rotation

Jigsaw Puzzle

man geht davon aus, dass man das hier aquierierte wissen auf andere aufgaben übertragen kann

ich lösche einfach tiel des bildes und lasse ihn dann prädizieren wie das bild eigentlich aussehen sollte

information restoration: lösche teil des inputs und rekonstruiere es (MAE)

contrastive learning: ich augmentiere ein und das selbe bild und auch weitere, dann gleiche ich diese gegeneinander ab und nur die augmentierungen des gleichen bildes ergeben positieve paare. (SimCLR)

Encoder ansatz

ich nehme einen text und dann markiere ich 15 prozent davon

ersetze davon 80 prozent mit mask

davon 10 mit einem random token

10 lasse ich unverändert

label sind die aus ursprünglichem datesatz

Decoder ansatz

ich könnte eigentlich immer das nächste wort prädizieren aber: ich will eigentlich den ganzen satz auf einmal lernen

a—>ab ab—>c abc—>d etc ost dann der lernprozess

jedes wort darf nur auf wörter links von sich schauen

sonst lernt der transformer einfach die inputs zurück zu geben —> masked attention verwenden (ist aber nur im training releant)

mithilfe von parameter zahl und datensatzgöße können wir vorhersagen wie gut unser modell performen will

generell gilt dass model und datensatzgöße linear vergrößert werden sollen

ich kann also kleine modelle trainieren und darauf basierend dann vorhersagen treffen wie mein größeres performen wird

zudem muss ich eigentlich nur mein budget berücksichtigen und dann kann ich darauf basierend das beste modell errechnen

eigentlich antworten modelle nicht auf fragen, weil so was selten in den trainingsdaten ist.

dem kann ich aber entgegenwirken durhc prompting, supervised finetuning und reinforcement learning from human feedback

ich gebe dem modell im prompt beispiele was ich erwarte

Was ist die hauptstadt von FR? —> Paris

-

…

und dann fragen was die hauptstad eines anderen land ist

ich gebe dem modell ienen datensatz in dem stil wie ich erwarte dass die nutzer mit dem modell interagieren

kreiere ein neues llm um qualität von antworten zu bewerten

kreiere ein neues llm un optimiere so dass nur gute antworten generiert werden

Annahme: es ist einfacher antworten zu bewerten als sie zu kreieren