Loss-Wert
Loss-Wert ist der konkrete numerische Wert der Verlustfunktion zu einem bestimmten Trainingsschritt.
Der Loss-Wert ist die konkrete Zahl, die die Verlustfunktion zu einem bestimmten Zeitpunkt des Trainings ausgibt. Er quantifiziert, wie weit die aktuelle Modellvorhersage vom gewünschten Ergebnis entfernt ist - je niedriger, desto besser.
Die absolute Höhe eines Loss-Werts ist für sich genommen wenig aussagekräftig, da sie von der gewählten Loss-Funktion, der Aufgabe und den Daten abhängt. Ein Cross-Entropy Loss von 2.5 bei einem Sprachmodell hat eine andere Bedeutung als ein MSE von 2.5 bei einer Regressionsaufgabe. Aussagekräftig wird der Loss-Wert erst im Vergleich: zum vorherigen Trainingsschritt, zu einem anderen Modell oder zu einem theoretischen Minimum.
In Trainingsprotokollen wird der Loss-Wert regelmäßig geloggt - typischerweise nach jedem Trainingsschritt oder in festgelegten Intervallen. Dabei unterscheidet man den Loss-Wert auf einem einzelnen Batch (verrauscht, aber aktuell) vom gemittelten Loss über eine Epoche oder einen Evaluationslauf (stabiler, aber mit Verzögerung).
Bei Sprachmodellen lässt sich der Loss-Wert in Perplexity umrechnen (Perplexity = e^Loss), was eine intuitivere Interpretation erlaubt: Eine Perplexity von 10 bedeutet, dass das Modell im Durchschnitt so unsicher ist, als müsste es bei jedem Token zwischen 10 gleichwahrscheinlichen Optionen wählen.