Ein KI RAG-System mit SQL-, Vektor- und Graph-Datenbank

Ein RAG-System (Retrieval-Augmented Generation) mit SQL, Vektor und Graph-Datenbank

Dieses Dokument beschreibt den Aufbau eines Systems, das Wissen aus Dokumenten aufnimmt, strukturiert, durchsuchbar macht und auf Basis dieses Wissens Fragen beantwortet. Das System skaliert von wenigen Texten bis zu Millionen Dokumenten und erzeugt dabei zum Beispiel Zusammenhänge, die in den einzelnen Dokumenten nicht sichtbar sind.

Das System kombiniert drei Datenbank-Typen (relational, vektoriell, graphbasiert), ein lokales Sprachmodell, automatische Entitätserkennung und eine hybride Suchstrategie. Es läuft vollständig auf einem eigenen Server, ohne externe Cloud-Dienste.

Pro-Tipp: Der eine oder andere könnte auf die Idee kommen, einfach die ganze Seite herunterzuladen und es via Claude Code a) nachbauen zu lassen und b) für die eigenen Bedürfnisse anpassen zu lassen. ;-)

Viel Spaß beim Lesen und liebe Grüße, Karl

Inhaltsverzeichnis

Problemraum und Zielbild

• Das Problem: Wissen in großem Maßstab nutzbar machen
• Das Zielsystem im Überblick
• Komponenten und ihre Rollen

Lokales Sprachmodell

• Ollama auf einem Server installieren
• Sprachmodelle und ihre Unterschiede
• Das LLM per HTTP-Schnittstelle ansprechen
• Text als Kontext an das LLM senden

Grundlagen der Suche

• Warum eine automatische Suche nötig ist
• Retrieval-Stufen: Vom Prompt zum Wissenssystem
• Was Embeddings sind
• Ein Embedding-Modell einrichten

Datenarchitektur

• Lange Texte in Chunks aufteilen
• MariaDB: Texte strukturiert speichern
• Qdrant als Vektordatenbank

Die Ingest-Pipeline

• Die Ingest-Pipeline
• Zwei-Phasen-Strategie und Datensynchronisation

Dokumente verwalten

• Dokumente erstellen, lesen, ändern, löschen
• Konsistenz über mehrere Datenbanken

Erster RAG

• Ähnlichkeitssuche ohne Sprachmodell
• Retrieval-Augmented Generation
• Halluzination erkennen und begrenzen

Suche verbessern

• Sparse Search als Ergänzung zur Vektorsuche
• Hybrid Search: Dense, Sparse und RRF
• Suchqualität messen und bewerten

HTTP-Schnittstelle und Sicherheit

• Die HTTP-Schnittstelle mit FastAPI
• Authentifizierung und Zugangskontrolle
• Validierung und Error-Handling

Knowledge Graph

• Warum ein Knowledge Graph die Suche verbessert
• ArangoDB als Graph-Datenbank
• Entitäten erkennen mit SpaCy
• Relationen mit dem Sprachmodell extrahieren
• Graph Search: Verwandte Konzepte finden

Produktivsystem

• Drei Suchstrategien im Zusammenspiel
• Domains: Wissensbereiche isolieren
• Das Config-System
• Betrieb und Monitoring
• Grenzen, Risiken und Weiterentwicklung

Referenz und Evaluation

• API- und Funktionsreferenz

Code-Referenz

• Code-Übersicht und Projektstruktur

Evaluation

• RAG-Vergleich: Drei Datenbank-Kombinationen im Praxistest