Continuous Learning

Continuous Learning (auch Lifelong Learning oder Continual Learning) ist das Ziel, KI-Systeme zu bauen, die über ihre gesamte Lebensdauer lernen — neue Aufgaben und Daten integrieren, ohne altes Wissen zu vergessen.

Das Problem klingt trivial (Menschen lernen ein Leben lang), ist aber für neuronale Netze extrem schwierig. Catastrophic Forgetting — das abrupte Vergessen alter Fähigkeiten beim Lernen neuer — ist die zentrale Hürde. Ein Bilderkennungsmodell, das nach dem Training auf Autos nun auf Flugzeuge trainiert wird, vergisst die Autos.

Die Forschung verfolgt drei Strategien. Regularisierungsbasiert: Elastic Weight Consolidation (EWC, Kirkpatrick et al., 2017) schützt wichtige Gewichte vor Überschreibung. Architekturbasiert: Progressive Neural Networks fügen für jede neue Aufgabe zusätzliche Kapazität hinzu. Replay-basiert: Beispiele aus früheren Aufgaben werden beim Training neuer Aufgaben beigemischt.

Für LLMs ist Continuous Learning besonders relevant. Das Weltwissen eines Modells ist auf den Trainingszeitpunkt fixiert — GPT-4 weiß nichts über Ereignisse nach April 2024. Retrieval-Augmented Generation (RAG) umgeht das Problem, indem aktuelle Informationen zur Inferenzzeit eingespeist werden, ohne das Modell neu zu trainieren.

Das menschliche Gehirn löst Continuous Learning durch Complementary Learning Systems: Hippocampus (schnell, episodisch) und Neocortex (langsam, generalisierend) arbeiten zusammen. Sleep Consolidation überträgt Wissen von einem ins andere. Dieses Prinzip inspiriert aktuelle Forschung, ist aber in KI-Systemen noch nicht annähernd realisiert.