Kontextverarbeitung
Kontextverarbeitung beschreibt die Fähigkeit eines Einbettungsmodells, Informationen aus dem gesamten Text gleichmäßig zu erfassen, auch wenn sie erst ganz am Ende stehen. In der Praxis zeigt sich: Viele Modelle gewichten den Anfang eines Textes deutlich stärker als das Ende.
Man kann das einfach testen: Man nimmt einen kurzen Satz mit einem seltenen Fachbegriff (zum Beispiel "Quantenfeldtheorie") und misst die Ähnlichkeit. Dann versteckt man denselben Satz am Ende eines langen Textes und misst erneut. Wenn die Ähnlichkeit stark abfällt, hat das Modell den Begriff am Ende kaum noch wahrgenommen.
Dieses Phänomen nennt man Tail-End Sensitivity. In meinem Benchmark zeigte sich, dass die Modelle hier sehr unterschiedlich abschneiden: Manche behalten über 87% der Information am Textende, andere nur 35%. Für lange Dokumente, bei denen wichtige Details überall stehen können, ist eine gute Kontextverarbeitung entscheidend.