RNN
RNN (Recurrent Neural Network) ist eine Neuronale-Netzwerk-Architektur für sequentielle Daten. RNNs wurden durch Transformer-Architekturen für Sprachmodelle weitgehend abgelöst.
RNN (Recurrent Neural Network) ist eine Klasse neuronaler Netze, die für die Verarbeitung sequentieller Daten entwickelt wurde. Im Gegensatz zu klassischen Feedforward-Netzen besitzen RNNs Rückkopplungsverbindungen, die Informationen von einem Zeitschritt zum nächsten weitergeben.
Das Grundprinzip ist einfach: Bei jedem Zeitschritt erhält das Netz sowohl die aktuelle Eingabe als auch einen Hidden State, der die bisherige Sequenz zusammenfasst. Dadurch kann das RNN theoretisch beliebig lange Abhängigkeiten in Sequenzen modellieren - etwa den Zusammenhang zwischen Wörtern in einem Satz.
In der Praxis stoßen einfache RNNs schnell an Grenzen. Das Vanishing-Gradient-Problem führt dazu, dass Informationen über lange Sequenzen hinweg verloren gehen. Varianten wie LSTM (Long Short-Term Memory) und GRU (Gated Recurrent Unit) wurden entwickelt, um dieses Problem zu mildern, indem sie den Informationsfluss über Gating-Mechanismen steuern.
Seit der Einführung der Transformer-Architektur 2017 werden RNNs in vielen Bereichen zunehmend durch Transformer ersetzt, die parallele Verarbeitung und bessere Modellierung langer Abhängigkeiten ermöglichen. RNNs bleiben jedoch relevant für bestimmte Anwendungsfälle wie Zeitreihenanalyse oder Szenarien mit strengen Latenzanforderungen.