Wenn Dein KI-System zu langsam wird

Du stellst eine Frage an Dein KI-System und wartest. Drei Sekunden. Fünf Sekunden. Zehn Sekunden. Die Antwort kommt, aber das Warten fühlt sich falsch an. Du weißt: So arbeitet niemand gerne. Und Du ahnst, dass es nicht an der Hardware liegt.

Warum KI-Systeme langsam werden

Die meisten Geschwindigkeitsprobleme bei KI-Systemen entstehen nicht durch zu schwache Rechner, sondern durch drei Ursachen: Das System schickt zu viele Daten hin und her, es berechnet Dinge doppelt, oder es wartet auf Antworten, die es eigentlich schon kennt.

Stell Dir vor, Du betreibst ein kleines Wissenssystem mit einer Vektor-Datenbank. Jede Anfrage durchläuft mehrere Schritte: Der Text wird in einen Vektor umgewandelt, die Datenbank sucht ähnliche Einträge, die Ergebnisse werden an ein Sprachmodell geschickt, und das Sprachmodell formuliert eine Antwort. Jeder einzelne Schritt braucht Zeit. Wenn einer dieser Schritte unnötig viel Daten verarbeitet oder auf eine Verbindung warten muss, wird das ganze System langsam.

Der erste Schritt ist deshalb immer: Messen, wo die Zeit tatsächlich verloren geht. Ohne diese Messung optimierst Du möglicherweise an der falschen Stelle.

Messen statt vermuten

Bevor Du irgendetwas veränderst, brauchst Du eine Messung des aktuellen Zustands. Wie lange dauert eine typische Anfrage? Wo genau vergeht die meiste Zeit - beim Einbetten des Textes, bei der Datenbanksuche oder bei der Antwortgenerierung?

Ein einfaches Beispiel: Du misst, dass eine Anfrage insgesamt 8 Sekunden dauert. Davon entfallen 0,5 Sekunden auf die Vektorisierung, 1 Sekunde auf die Datenbanksuche, und 6,5 Sekunden auf die Antwortgenerierung durch das Sprachmodell. Die Datenbank ist also nicht das Problem. Das Sprachmodell ist es.

In diesem Fall würde eine schnellere Datenbank fast nichts bringen. Aber ein kleineres Sprachmodell, das für Deine Aufgabe ausreicht, könnte die Antwortzeit halbieren.

Die vier häufigsten Ursachen und ihre Lösungen

1. Das System beantwortet dieselbe Frage immer wieder neu. Wenn Kunden regelmäßig ähnliche Fragen stellen, berechnet das System jedes Mal die komplette Antwort neu. Die Lösung: Häufige Anfragen zwischenspeichern. Wenn jemand fragt "Was sind Eure Öffnungszeiten?", muss das Sprachmodell diese Antwort nicht jedes Mal neu generieren. Ein Zwischenspeicher erkennt ähnliche Fragen und liefert die gespeicherte Antwort in Millisekunden statt Sekunden.

2. Das System lädt zu viele Daten in den Arbeitsspeicher. Eine Vektor-Datenbank wie ChromaDB hält ihre Sammlungen im Arbeitsspeicher. Bei wachsenden Datenbeständen führt das zu Engpässen. Die Lösung: Teile Deine Daten in kleinere Sammlungen auf und lade nur die, die für die aktuelle Anfrage relevant sind. Ein System mit 100.000 Dokumenten braucht nicht alle gleichzeitig im Speicher.

3. Einzelne Anfragen blockieren das gesamte System. Wenn das System eine aufwändige Anfrage bearbeitet, warten alle anderen Nutzer. Die Lösung: Verarbeite unabhängige Anfragen gleichzeitig. Aber Vorsicht: Bei begrenztem Arbeitsspeicher oder einer einzelnen Grafikkarte kann zu viel Gleichzeitigkeit das System überlasten.

4. Das Sprachmodell ist zu groß für die Aufgabe. Ein Modell mit 70 Milliarden Parametern antwortet präziser als eines mit 8 Milliarden, braucht aber auch deutlich länger. Für viele Alltagsaufgaben reicht das kleinere Modell. Teste, ob Deine Nutzer den Qualitätsunterschied überhaupt bemerken.

Was sich schnell verbessern lässt

In der Praxis bringen drei Maßnahmen die schnellsten Ergebnisse:

Erstens: Wiederholte Anfragen zwischenspeichern. Das erfordert wenige Zeilen Code und kann die Antwortzeit für häufige Fragen auf unter eine Sekunde senken.

Zweitens: Die Datenbankindizes richtig einstellen. Bei Vektor-Datenbanken funktionieren andere Suchverfahren als bei klassischen Datenbanken. Die Parameter des Suchindex anzupassen kann die Suchzeit halbieren, ohne dass sich die Ergebnisqualität verschlechtert.

Drittens: Die Antwort schon während der Generierung anzeigen. Statt 30 Sekunden auf die komplette Antwort zu warten, sieht der Nutzer sofort die ersten Wörter. Das ändert nichts an der tatsächlichen Dauer, aber es verändert das Erleben grundlegend.

Was ich dabei gelernt habe

Die wirksamste Optimierung ist oft nicht, etwas schneller zu machen, sondern etwas Unnötiges wegzulassen. Jede Funktion die Du entfernst, ist eine Funktion die keine Zeit mehr kostet.

Ein System das verlässlich in drei Sekunden antwortet, ist besser als eines das zwischen einer und zehn Sekunden schwankt. Gleichmäßigkeit schafft Vertrauen, Unberechenbarkeit erzeugt Frustration.

Und: Geschwindigkeit ist kein einmaliges Projekt. Systeme wachsen, Nutzung steigt, neue Engpässe entstehen. Plane regelmäßige Überprüfungen ein, bevor die Nutzer Dir sagen, dass etwas langsam geworden ist.