Retrieval-Qualität
Retrieval-Qualität misst wie gut relevante Dokumente gefunden werden.
Retrieval-Qualität misst, wie zuverlässig ein Retrieval-System relevante Dokumente für eine gegebene Anfrage findet. In RAG-Systemen ist sie der wichtigste Einzelfaktor für die Qualität der Gesamtantwort - ein Sprachmodell kann nur so gut antworten, wie die bereitgestellten Quellen es erlauben.
Die gängigen Metriken zur Bewertung sind Precision (wie viele der zurückgegebenen Dokumente sind tatsächlich relevant), Recall (wie viele der relevanten Dokumente wurden gefunden) und MRR (Mean Reciprocal Rank, wie weit oben steht das erste relevante Ergebnis). In der Praxis bewertet man häufig Precision@k und Recall@k - also die Werte bezogen auf die Top-k-Ergebnisse.
Mehrere Faktoren beeinflussen die Retrieval-Qualität: Die Wahl des Embedding-Modells bestimmt, wie gut semantische Ähnlichkeit erkannt wird. Die Chunk-Größe der indexierten Dokumente beeinflusst, ob relevante Passagen isoliert oder mit irrelevantem Kontext vermischt werden. Metadaten-Filter können die Suche auf relevante Teilmengen einschränken, und Reranking-Modelle können die Ergebnisreihenfolge nachträglich verbessern.
Zur systematischen Verbesserung erstellt man ein Evaluations-Set aus Frage-Antwort-Paaren mit bekannten relevanten Dokumenten. Gegen dieses Set kann man verschiedene Konfigurationen testen und die Auswirkungen einzelner Änderungen messen.