Loss
Loss (Verlustfunktion) misst den Unterschied zwischen Modellvorhersage und tatsächlichem Wert. Ziel des Trainings ist Loss-Minimierung.
Loss - auch Verlustfunktion oder Loss-Funktion genannt - ist die zentrale Metrik beim Training eines Modells. Sie quantifiziert den Unterschied zwischen dem, was das Modell vorhersagt, und dem, was es vorhersagen sollte. Das gesamte Training lässt sich als Versuch beschreiben, diesen Wert so klein wie möglich zu machen.
Je nach Aufgabentyp kommen unterschiedliche Loss-Funktionen zum Einsatz. Für Klassifikation ist Cross-Entropy Loss verbreitet, bei Regressionsaufgaben nutzt man häufig Mean Squared Error (MSE). Für Sprachmodelle wird in der Regel der Cross-Entropy Loss über das Vokabular berechnet, wobei das Modell bei jedem Token eine Wahrscheinlichkeitsverteilung vorhersagt.
Der Loss bildet die Schnittstelle zwischen Modellausgabe und Optimierung: Backpropagation berechnet die Gradienten des Loss bezüglich aller Parameter, und der Optimizer nutzt diese Gradienten für die Gewichtsaktualisierung. Eine schlecht gewählte Loss-Funktion kann dazu führen, dass das Modell zwar den Loss minimiert, aber nicht das gewünschte Verhalten zeigt.
In der Praxis unterscheidet man zwischen Training Loss (gemessen auf den Trainingsdaten) und Validation Loss (gemessen auf einem separaten Validierungsset). Wenn der Training Loss sinkt, der Validation Loss aber steigt, ist das ein klassisches Zeichen für Overfitting.