Mathematik
Rectified Linear Unit (ReLU)
ReLU ist die meistgenutzte Aktivierungsfunktion in neuronalen Netzen. Sie ist mathematisch extrem simpel: f(x) = max(0, x). Wenn der Input positiv ist, lässt sie ihn durch; wenn er negativ ist, setzt sie ihn auf Null. Diese Einfachheit und die Vermeidung des 'Vanishing Gradient Problem' machten das Training tiefer Netze erst effizient möglich.
