MRR
MRR (Mean Reciprocal Rank) ist eine Metrik zur Bewertung von Such- und Ranking-Systemen. Sie beantwortet die Frage: Auf welcher Position erscheint der erste richtige Treffer im Durchschnitt?
So funktioniert MRR
Für jede Suchanfrage wird geprüft, an welcher Position der erste relevante Treffer steht. Der Reciprocal Rank ist dann 1 geteilt durch diese Position:
| Position des ersten Treffers | Reciprocal Rank |
|---|---|
| 1. Stelle | 1/1 = 1,00 |
| 2. Stelle | 1/2 = 0,50 |
| 3. Stelle | 1/3 = 0,33 |
| 5. Stelle | 1/5 = 0,20 |
Der MRR ist der Durchschnitt aller Reciprocal Ranks über alle Suchanfragen.
Interpretation
- MRR = 1,0: Der richtige Treffer steht immer an erster Stelle (perfekt)
- MRR = 0,5: Der richtige Treffer steht im Schnitt an zweiter Stelle
- MRR < 0,3: Der richtige Treffer erscheint oft erst ab Position 3 oder schlechter
MRR im Embedding-Benchmark
Im Embedding-Modelle Benchmark wird MRR bei den Hard Negative Tests eingesetzt. Dort wird gemessen, ob ein Modell den semantisch richtigen Textabschnitt findet, wenn absichtlich ähnlich klingende, aber inhaltlich falsche Alternativen angeboten werden.
Die Ergebnisse (30 Testpaare):
| Modell | MRR |
|---|---|
| e5-instruct | 0,77 |
| mxbai-de | 0,76 |
| Qwen3 | 0,71 |
| jina-v3 | 0,69 |
| bge-m3 | 0,66 |
| German V3 | 0,65 |
| mxbai | 0,60 |
Ein MRR von 0,77 bedeutet: Der richtige Treffer steht im Schnitt zwischen Position 1 und 2 - ein gutes Ergebnis für die anspruchsvollen Hard-Negative-Paare.