Loss-Verlauf
Loss-Verlauf zeigt die Entwicklung des Loss-Werts während des gesamten Trainings.
Der Loss-Verlauf beschreibt die Entwicklung des Loss-Werts über die gesamte Dauer eines Trainings. Ein typischer Verlauf durchläuft mehrere Phasen: anfänglich rascher Abfall, dann verlangsamter Fortschritt, schließlich Annäherung an ein Plateau. Learning-Rate-Warmup, Cosine Scheduling und andere Techniken erzeugen charakteristische Muster im Verlauf. Beim Vergleich verschiedener Trainingsläufe liefert der Loss-Verlauf die Grundlage für Entscheidungen über Hyperparameter.