Treffsicherheit
Treffsicherheit beschreibt, wie zuverlässig ein Einbettungsmodell bei einer Suchanfrage das inhaltlich passendste Dokument als erstes Ergebnis liefert. Ein Modell mit hoher Treffsicherheit findet auf die Frage "Prompt Engineering Techniken" tatsächlich den Artikel über Prompt Engineering und nicht einen thematisch nur entfernt verwandten Text.
Man kann die Treffsicherheit auf verschiedene Arten messen. Ein einfacher Test: Man nimmt die ersten 50 Wörter eines Dokuments als Suchanfrage und prüft, ob das Modell genau dieses Dokument als Top-1-Ergebnis zurückliefert. Das nennt man Self-Retrieval Accuracy. Die besten Modelle erreichen hier Werte über 99%.
Aber die eigentliche Herausforderung liegt bei mehrdeutigen oder thematisch nahen Anfragen. Wenn ein Nutzer "KI und Ethik" sucht, soll das Modell den Artikel über Ethik und Gesellschaft finden und nicht einen allgemeinen KI-Überblick. Genau hier trennt sich die Spreu vom Weizen.