Rotary
Rotary (Position Embedding) ist eine Methode zur Positionskodierung in Transformern.
Rotary Position Embedding ist eine Methode zur Positionskodierung in Transformer-Modellen, bekannt unter der Abkürzung RoPE. Das Verfahren bringt Positionsinformation durch mathematische Rotation der Query- und Key-Vektoren ein. Die Rotation wird paarweise auf die Dimensionen angewendet, mit unterschiedlichen Frequenzen pro Dimensionspaar. Ein wesentlicher Vorteil ist die Skalierbarkeit auf längere Kontextfenster durch Anpassung der Frequenzbasis.