Sigmoidfunktion

Eine Sigmoidfunktion, Schwanenhalsfunktion, Fermifunktion^[1] oder S-Funktion ist eine mathematische Funktion mit einem S-förmigen Graphen.

Oft wird der Begriff Sigmoidfunktion auf den Spezialfall der logistischen Funktion bezogen, die durch die Gleichung

${\displaystyle \operatorname {sig} (t)={\frac {1}{1+e^{-t}}}={\frac {e^{t}}{1+e^{t}}}={\frac {1}{2}}\cdot \left(1+\tanh {\frac {t}{2}}\right)}$

beschrieben wird, mit der Eulerschen Zahl ${\displaystyle e}$. Dieser Spezialfall ist eine skalierte und verschobene Tangens-hyperbolicus-Funktion und hat entsprechende Symmetrien.

Die Umkehrfunktion der speziellen Sigmoidfunktion lautet:

${\displaystyle \operatorname {sig} ^{-1}(y)=-\ln \left({\frac {1}{y}}-1\right)=\ln \left({\frac {y}{1-y}}\right)=2\cdot \operatorname {artanh} (2\cdot y-1).}$

Diese Umkehrfunktion wird auch als Logit-Funktion bezeichnet, vor allem in Anwendungsbereichen, bei denen ${\displaystyle y}$ eine Wahrscheinlichkeit ausdrückt.

Im Allgemeinen ist eine Sigmoidfunktion eine beschränkte und differenzierbare reelle Funktion mit einer durchweg positiven oder durchweg negativen ersten Ableitung und genau einem Wendepunkt.

Die Menge der Sigmoidfunktionen enthält neben der logistischen Funktion den Arkustangens, den Tangens hyperbolicus und die Fehlerfunktion, die sämtlich transzendent sind, sowie auch einfache algebraische Funktionen wie ${\displaystyle f(x)={\tfrac {x}{\sqrt {1+x^{2}}}}}$. Das Integral jeder stetigen, positiven Funktion mit einem „Berg“ (genauer: mit genau einem lokalen Maximum und keinem lokalen Minimum, z. B. die gaußsche Glockenkurve) ist ebenfalls eine Sigmoidfunktion. Daher sind viele kumulierte Verteilungsfunktionen sigmoidal.

Sigmoidfunktionen werden in künstlichen neuronalen Netzen als Aktivierungsfunktion verwendet, da der Einsatz von differenzierbaren Funktionen die Verwendung von Lernmechanismen, wie etwa dem Backpropagation-Algorithmus, ermöglicht. Als Aktivierungsfunktion eines künstlichen Neurons wird die Sigmoidfunktion auf die Summe der gewichteten Eingabewerte angewendet, um die Ausgabe des Neurons zu erhalten.

Die Sigmoidfunktion wird vor allem aufgrund ihrer einfachen Differenzierbarkeit als Aktivierungsfunktion bevorzugt verwendet, denn für die logistische Funktion gilt:

${\displaystyle \operatorname {sig} ^{\prime }(t)=\operatorname {sig} (t)\left(1-\operatorname {sig} (t)\right).}$

Für die Ableitung der Sigmoidfunktion Tangens hyperbolicus gilt:

${\displaystyle \tanh ^{\prime }(t)=\left(1+\tanh(t)\right)\left(1-\tanh(t)\right)=1-\tanh ^{2}(t).}$

Mit Unums vom Typ III lässt sich die oben angegebene logistische Funktion näherungsweise effizient berechnen, indem die Darstellung der Gleitkommazahl-Eingabe elegant genutzt wird.^[2]

• Eric W. Weisstein: Sigmoid Function. In: MathWorld (englisch).

1. ↑ Einzelnes Neuron ::: Neuronale Netze. Abgerufen am 4. April 2019. 
2. ↑ John L. Gustafson, Isaac Yonemoto: Beating Floating Point at its Own Game: Posit Arithmetic. (PDF) 12. Juni 2017, abgerufen am 28. Dezember 2019 (englisch).