Optimizer-Wahl
Optimizer-Wahl bezeichnet die Entscheidung für einen bestimmten Optimierungsalgorithmus (Adam, SGD, AdamW etc.).
Die Optimizer-Wahl ist eine der grundlegenden Entscheidungen vor Beginn eines Trainings. Sie legt fest, nach welchem Algorithmus die Modellparameter aktualisiert werden, und beeinflusst Konvergenzgeschwindigkeit, Stabilität und Endqualität des trainierten Modells.
Die gebräuchlichsten Optionen sind SGD (mit Momentum), Adam, AdamW und neuere Varianten wie LAMB, Adafactor oder Lion. Jeder Optimizer hat charakteristische Stärken: SGD mit Momentum generalisiert oft besser, konvergiert aber langsamer. Adam und AdamW konvergieren schneller und sind robuster gegenüber der Wahl der Learning Rate, benötigen aber mehr Speicher für den Optimizer-State.
In der Praxis hat sich AdamW als Standardwahl für Transformer-basierte Modelle etabliert. Für Computer-Vision-Aufgaben mit CNNs wird häufig SGD mit Momentum verwendet, insbesondere wenn maximale Genauigkeit auf dem Testset wichtiger ist als schnelle Konvergenz. Bei sehr großen Modellen, die über viele GPUs verteilt trainiert werden, kommen spezialisierte Optimizer wie LAMB zum Einsatz, die große Batch-Sizes besser handhaben.
Die Optimizer-Wahl steht nicht isoliert - sie interagiert mit anderen Hyperparametern wie Learning Rate, Scheduler, Batch-Size und Weight Decay. Eine Änderung des Optimizers erfordert in der Regel eine Neuabstimmung dieser abhängigen Parameter.