GPUs
GPUs sind Grafikkarten, die für parallele ML-Berechnungen genutzt werden.
GPUs (Graphics Processing Units) sind Prozessoren, die ursprünglich für die Darstellung von 3D-Grafiken entwickelt wurden. Ihre Architektur mit Tausenden kleiner Rechenkerne eignet sich hervorragend für die massiv parallelen Berechnungen, die beim Training und bei der Inferenz von Machine-Learning-Modellen anfallen.
Im Unterschied zu CPUs, die wenige leistungsstarke Kerne besitzen und für sequentielle Aufgaben optimiert sind, können GPUs viele gleichartige Rechenoperationen gleichzeitig ausführen. Matrixmultiplikationen - das Herzstück neuronaler Netze - profitieren besonders von dieser Parallelität.
NVIDIA dominiert den Markt für ML-GPUs mit Modellen wie der A100, H100 oder der Consumer-Serie RTX. AMD und Intel bieten ebenfalls GPUs an, haben aber im ML-Bereich einen kleineren Software-Ökosystem-Vorsprung. Für professionelles Training kommen meist Server-GPUs mit großem VRAM zum Einsatz, während für Experimente und Inferenz auch Consumer-Karten ausreichen können.
Die Wahl und Anzahl der GPUs bestimmt maßgeblich, wie große Modelle man trainieren kann und wie lange das Training dauert. Multi-GPU-Setups erlauben es, Modelle und Daten auf mehrere Karten zu verteilen.