Parameters
Parameters sind die trainierbaren Gewichte eines neuronalen Netzwerks.
Parameters sind die trainierbaren Gewichte eines neuronalen Netzwerks. Sie bilden das eigentliche "Wissen", das ein Modell während des Trainings erwirbt, und bestimmen, wie Eingabedaten verarbeitet und in Ausgaben umgewandelt werden.
Technisch gesehen ist jeder Parameter ein numerischer Wert innerhalb einer Matrix. Neuronale Netzwerke bestehen aus Schichten, und zwischen diesen Schichten liegen Gewichtsmatrizen, deren Einträge die Parameters darstellen. Wenn man von einem Modell mit 70 Milliarden Parameters spricht, meint man die Gesamtzahl dieser trainierbaren Werte über alle Schichten hinweg.
Das Training eines Modells ist im Kern ein Optimierungsprozess: Man sucht diejenige Kombination von Parameters, die den Fehler auf den Trainingsdaten minimiert. Verfahren wie Stochastic Gradient Descent passen die Parameters in vielen kleinen Schritten an. Je nach Modellgröße kann dieser Prozess Wochen dauern und erhebliche Rechenressourcen erfordern.
Neben den trainierbaren Parameters gibt es auch sogenannte Hyperparameters - etwa die Lernrate oder die Anzahl der Schichten. Diese werden nicht vom Modell selbst gelernt, sondern vor dem Training festgelegt. Die Unterscheidung ist wichtig: Parameters werden automatisch optimiert, Hyperparameters werden von Menschen oder durch automatisierte Suchverfahren bestimmt.
Die Zahl der Parameters ist zu einem gängigen, wenn auch vereinfachenden Maß für die Leistungsfähigkeit von KI-Modellen geworden. Man sollte sie als notwendige, aber nicht hinreichende Bedingung für Modellqualität betrachten.