Sigmoid

Die Sigmoid-Funktion ist eine S-förmige Aktivierungsfunktion, die Werte in den Bereich zwischen 0 und 1 presst. Sie wurde früher oft in neuronalen Netzen verwendet, da sie wie eine Wahrscheinlichkeit interpretiert werden kann. In tiefen Netzen wurde sie jedoch weitgehend durch ReLU ersetzt, da sie bei sehr großen oder kleinen Werten kaum noch steuerbar ist (Vanishing Gradient).