Learning Rate

Die Learning Rate (Lernrate) ist einer der wichtigsten Hyperparameter beim Training. Sie bestimmt, wie große Schritte der Optimierungsalgorithmus (Gradient Descent) bei der Anpassung der Gewichte macht. Eine zu große Lernrate führt dazu, dass das Modell über das Ziel hinausschießt und nicht konvergiert; eine zu kleine Rate macht das Training extrem langsam.