Catastrophic Forgetting

Catastrophic Forgetting (katastrophales Vergessen) ist das Phänomen, dass ein neuronales Netz beim Lernen neuer Aufgaben das Wissen über zuvor erlernte Aufgaben abrupt verliert. Ein Modell, das erst Hunde erkennen lernt und dann auf Katzen trainiert wird, vergisst dabei die Hunde.

Das Problem entsteht aus der Art, wie neuronale Netze lernen. Die gleichen Gewichte, die für Aufgabe A optimiert wurden, werden bei Training auf Aufgabe B überschrieben. Es gibt keinen geschützten Speicher für altes Wissen.

Bei Foundation Models (GPT, Claude) wird das Problem durch Feintuning relevant: Wenn man ein vortrainiertes Modell auf eine spezifische Aufgabe feinabstimmt, kann es allgemeines Wissen verlieren. Deshalb verwendet man niedrige Lernraten beim Feintuning und Techniken wie LoRA, die nur einen kleinen Teil der Parameter anpassen.

Lösungsansätze umfassen Elastic Weight Consolidation (EWC, Kirkpatrick et al., 2017), das wichtige Parameter für alte Aufgaben vor Überschreibung schützt. Progressive Neural Networks fügen für jede neue Aufgabe neue Kapazität hinzu, ohne die alte zu verändern. Replay-Methoden mischen Beispiele aus alten und neuen Aufgaben.

Das menschliche Gehirn löst das Problem durch complementary learning systems: Der Hippocampus speichert neue Erfahrungen schnell, und im Schlaf werden sie langsam in den Neocortex (Langzeitgedächtnis) konsolidiert. Dieses biologische Prinzip inspiriert die Forschung zu Continual Learning — dem Ziel, KI-Systeme zu bauen, die lebenslang lernen können, ohne altes Wissen zu verlieren.