NVMe
NVMe (Non-Volatile Memory Express) ist ein Speicherprotokoll für schnelle SSDs. NVMe-Laufwerke beschleunigen das Laden von Trainingsdaten und Modell-Checkpoints erheblich.
NVMe (Non-Volatile Memory Express) ist ein Übertragungsprotokoll, das speziell für Flash-Speicher wie SSDs entwickelt wurde. Im Vergleich zum älteren SATA-Protokoll bietet NVMe deutlich höhere Übertragungsraten und geringere Latenzen, weil es direkt über den PCIe-Bus der Hauptplatine kommuniziert.
Für Machine Learning sind schnelle Speicher relevant, weil große Datensätze und Modellgewichte von der Festplatte geladen werden müssen. Eine NVMe-SSD kann sequentielle Leseraten von mehreren Gigabyte pro Sekunde erreichen - gegenüber rund 500 MB/s bei SATA-SSDs. Das beschleunigt vor allem das Laden von Trainingsdaten, das Speichern von Checkpoints und das initiale Laden großer Modelle in den Arbeitsspeicher.
Besonders bei datenintensivem Training, wo die GPU auf Nachschub aus dem Speicher wartet, kann eine NVMe-SSD Engpässe reduzieren. Auch bei der Arbeit mit großen Datensätzen, die nicht vollständig in den RAM passen, macht sich der Geschwindigkeitsvorteil bemerkbar.