Grafikspeicher
Der Grafikspeicher (auch VRAM genannt) ist der Arbeitsspeicher auf der Grafikkarte. Ursprünglich wurde er für die Darstellung von Bildern und Spielen entwickelt, aber heute spielt er eine zentrale Rolle bei der Berechnung von KI-Modellen.
Wenn ein Einbettungsmodell einen Text verarbeitet, müssen alle Modellparameter und die Zwischenergebnisse der Berechnung gleichzeitig im Grafikspeicher liegen. Je größer das Modell, desto mehr Speicher braucht es. Ein kompaktes Modell wie mxbai-embed-large-v1 kommt mit etwa 2 GB aus, größere Modelle können 5 GB oder mehr benötigen.
In der Praxis begrenzt der Grafikspeicher, wie viele Textabschnitte gleichzeitig verarbeitet werden können. Ist der Speicher knapp, muss die Stapelgröße (Batch Size) reduziert werden, was die Verarbeitung verlangsamt. Bei der Auswahl eines Einbettungsmodells ist der VRAM-Bedarf daher ein wichtiger praktischer Faktor.