Curriculum Learning

Curriculum Learning ist ein Trainingsansatz, bei dem einem Modell die Trainingsbeispiele nicht zufällig, sondern in einer sinnvollen Reihenfolge präsentiert werden — von einfach zu schwer, wie ein Lehrplan in der Schule.

Die Idee stammt von Yoshua Bengio et al. (2009). Das Prinzip: Ein Mensch lernt nicht Differentialrechnung vor Addition. Warum sollte ein neuronales Netz wahllos schwierige und einfache Beispiele durcheinander sehen? Die Hypothese: Geordnetes Lernen konvergiert schneller und findet bessere Lösungen.

Empirisch bestätigt sich das in vielen Bereichen. In der Sprachmodellierung: Erst kurze, einfache Sätze, dann längere, komplexere. In der Objekterkennung: Erst klare, gut beleuchtete Bilder, dann verrauschte und verdeckte. In der Mathematik: Erst einstellige Addition, dann mehrstellige, dann Multiplikation.

Self-Paced Learning automatisiert die Beispielauswahl: Das Modell wählt selbst, welche Beispiele es als nächstes lernen möchte — basierend auf dem aktuellen Loss. Beispiele mit niedrigem Loss (schon gelernt) und extrem hohem Loss (zu schwierig, möglicherweise fehlerhaft) werden übersprungen.

In der Praxis ist Curriculum Learning weniger verbreitet als sein konzeptioneller Reiz vermuten lässt. Für LLMs hat sich gezeigt, dass zufällige Mischung der Trainingsdaten bei ausreichender Datenmenge gut funktioniert. Die größte praktische Anwendung: das stufenweise Hochskalieren der Sequenzlänge während des Trainings, um das Kontextfenster effizient zu erweitern.