Global Minimum
Das globale Minimum ist der absolut tiefste Punkt in der Fehlerlandschaft (Loss Landscape). Das Ziel des Trainings ist es, diesen Punkt zu finden (perfektes Modell). Oft bleibt man aber in 'lokalen Minima' stecken (gutes, aber nicht perfektes Modell).
Math
Verwandte Begriffe
Stochastic Gradient Descent (SGD)SGD ist die Standard-Variante des Gradientenabstiegs für große Datensätze. Statt den Fehler über *alle* Date …AdaGradAdaGrad (Adaptive Gradient) war 2011 ein wichtiger Fortschritt in der Optimierung neuronaler Netze. Der Algo …Grid SearchGrid Search ist eine Brute-Force-Methode zur Hyperparameter-Optimierung. Man definiert ein Gitter von möglic …



