Функція активації

Не плутати з Передавальна функція.

Функція активації, або передавальна функція (англ. activation function, також excitation function, squashing function, transfer function) штучного нейрона — залежність вихідного сигналу штучного нейрона від вхідного.

Зазвичай передавальна функція ${\displaystyle \phi {(x)}}$ відображає дійсні числа на інтервал ${\displaystyle {(-1,1)}}$ або ${\displaystyle {(0,1)}}$.

Більшість видів нейронних мереж для функції активації використовують сигмоїди. ADALINE і самоорганізаційні карти використовують лінійні функції активації, а (радіально базисні мережі) використовують радіальні базисні функції.

Математично доведено, що тришаровий перцептрон з використанням сигмоїдної функції активації може апроксимувати будь-яку неперервну функцію з довільною точністю ((Теорема Цибенка)).

Метод зворотного поширення помилки вимагає, щоб функція активації була неперервною, нелінійною, монотонно зростаючою, і диференційовною.

В задачі ^[en] класифікації нейрони останнього шару зазвичай використовують (softmax) як функцію активації.

У хемометриці — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).

Порівняння передавальних функцій

Деякі бажані властивості передавальної функції включають:

• Нелінійна — коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій. Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі.
• Неперервна диференційовність — ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція двійковий крок не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті.
• Область визначення.
• Монотонність.
• Гладка функція з монотонною похідною.
• Наближення до тотожної функції ${\displaystyle f(x)=x}$ в початку координат.

У наступній таблиці порівнюються деякі передавальні функції від однієї змінної x з попереднього шару:

Назва	Графік	Рівняння	Похідна (по x)	Область	Порядок гладкості	Монотонність	Монотонність похідної	Наближення до Тотожної функції в початку координат
Тотожна		${\displaystyle f(x)=x}$	${\displaystyle f'(x)=1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так
Двійковий крок		${\displaystyle f(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x\neq 0\\?&{\text{for }}x=0\end{cases}}}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$	Так	Ні	Ні
Логістична (a.k.a. Сігмоїда або М'який крок)		${\displaystyle f(x)=\sigma (x)={\frac {1}{1+e^{-x}}}}$^[1]	${\displaystyle f'(x)=f(x)(1-f(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$	Так	Ні	Ні
TanH		${\displaystyle f(x)=\tanh(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{-x})}}}$	${\displaystyle f'(x)=1-f(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
ArcTan		${\displaystyle f(x)=\tan ^{-1}(x)}$	${\displaystyle f'(x)={\frac {1}{x^{2}+1}}}$	${\displaystyle \left(-{\frac {\pi }{2}},{\frac {\pi }{2}}\right)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
Softsign		${\displaystyle f(x)={\frac {x}{1+|x|}}}$	${\displaystyle f'(x)={\frac {1}{(1+|x|)^{2}}}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{1}}$	Так	Ні	Так
Inverse square root unit (ISRU)		${\displaystyle f(x)={\frac {x}{\sqrt {1+\alpha x^{2}}}}}$	${\displaystyle f'(x)=\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}}$	${\displaystyle \left(-{\frac {1}{\sqrt {\alpha }}},{\frac {1}{\sqrt {\alpha }}}\right)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
Випрямлена лінійна (Rectified linear unit, ReLU)		${\displaystyle f(x)={\begin{cases}0&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Leaky rectified linear unit (Leaky ReLU)		${\displaystyle f(x)={\begin{cases}0.01x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0.01&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Parameteric rectified linear unit (PReLU)		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$^[2]	${\displaystyle C^{0}}$	Так ↔ ${\displaystyle \alpha \geqslant 0}$	Так	Так ↔ ${\displaystyle \alpha =1}$
Randomized leaky rectified linear unit (RReLU)		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$^[3]	${\displaystyle f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Exponential linear unit (ELU)		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}f(\alpha ,x)+\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C_{1}&{\text{when }}\alpha =1\\C_{0}&{\text{otherwise }}\end{cases}}}$	Так ↔ ${\displaystyle \alpha \geqslant 0}$	Так ↔ ${\displaystyle 0\leqslant \alpha \leqslant 1}$	Так ↔ ${\displaystyle \alpha =1}$
Scaled exponential linear unit (SELU)		${\displaystyle f(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$ з ${\displaystyle \lambda =1.0507}$ та ${\displaystyle \alpha =1.67326}$	${\displaystyle f'(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x})&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$	Так	Ні	Ні
S-shaped rectified linear activation unit (SReLU)		${\displaystyle f_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}t_{l}+a_{l}(x-t_{l})&{\text{for }}x\leqslant t_{l}\\x&{\text{for }}t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&{\text{for }}x\geqslant t_{r}\end{cases}}}$ ${\displaystyle t_{l},a_{l},t_{r},a_{r}}$ are parameters.	${\displaystyle f'_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}a_{l}&{\text{for }}x\leqslant t_{l}\\1&{\text{for }}t_{l}<x<t_{r}\\a_{r}&{\text{for }}x\geqslant t_{r}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Ні	Ні	Ні
Inverse square root linear unit (ISRLU)		${\displaystyle f(x)={\begin{cases}{\frac {x}{\sqrt {1+\alpha x^{2}}}}&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle \left(-{\frac {1}{\sqrt {\alpha }}},\infty \right)}$	${\displaystyle C^{2}}$	Так	Так	Так
Adaptive piecewise linear (APL)		${\displaystyle f(x)=\max(0,x)+\sum _{s=1}^{S}a_{i}^{s}\max(0,-x+b_{i}^{s})}$	${\displaystyle f'(x)=H(x)-\sum _{s=1}^{S}a_{i}^{s}H(-x+b_{i}^{s})}$^[4]	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Ні	Ні	Ні
SoftPlus		${\displaystyle f(x)=\ln(1+e^{x})}$	${\displaystyle f'(x)={\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Ні
Bent identity		${\displaystyle f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x}$	${\displaystyle f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так
(Sigmoid-weighted linear unit (SiLU)) (a.k.a. Swish)		${\displaystyle f(x)=x\cdot \sigma (x)}$^[5]	${\displaystyle f'(x)=f(x)+\sigma (x)(1-f(x))}$^[6]	${\displaystyle [\approx -0.28,\infty )}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні
SoftExponential		${\displaystyle f(\alpha ,x)={\begin{cases}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\text{for }}\alpha <0\\x&{\text{for }}\alpha =0\\{\frac {e^{\alpha x}-1}{\alpha }}+\alpha &{\text{for }}\alpha >0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}{\frac {1}{1-\alpha (\alpha +x)}}&{\text{for }}\alpha <0\\e^{\alpha x}&{\text{for }}\alpha \geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так ↔ ${\displaystyle \alpha =0}$
Синусоїда		${\displaystyle f(x)=\sin(x)}$	${\displaystyle f'(x)=\cos(x)}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Так
Sinc		${\displaystyle f(x)={\begin{cases}1&{\text{for }}x=0\\{\frac {\sin(x)}{x}}&{\text{for }}x\neq 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\text{for }}x\neq 0\end{cases}}}$	${\displaystyle [\approx -.217234,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні
Гауссіан		${\displaystyle f(x)=e^{-x^{2}}}$	${\displaystyle f'(x)=-2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні

↑ Тут, H це функція Гевісайда.

↑ α є стохастичною змінною вибраною з нормального розподілу під час навчання і зафіксована як очікуване значення розподілу до часу тестування.

↑ ↑ ↑ Тут, ${\displaystyle \sigma }$ — логістична функція.

↑  ${\displaystyle \alpha >0}$ виконується для всього інтервалу.

Наступна таблиця містить передавальні функції від декількох змінних:

Назва	Рівняння	Похідна(ні)	Область	Порядок гладкості
(Softmax)	${\displaystyle f_{i}({\vec {x}})={\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$    for i = 1, …, J	${\displaystyle {\frac {\partial f_{i}({\vec {x}})}{\partial x_{j}}}=f_{i}({\vec {x}})(\delta _{ij}-f_{j}({\vec {x}}))}$^[7]	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Maxout	${\displaystyle f({\vec {x}})=\max _{i}x_{i}}$	${\displaystyle {\frac {\partial f}{\partial x_{j}}}={\begin{cases}1&{\text{for }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{for }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

↑  Тут, ${\displaystyle \delta _{ij}}$ — символ Кронекера.

Див. також

• Функція втрат

Примітки

1. Ke-Lin Du, Swamy M. N. S., Neural Networks and Statistical Learning, Springer-Verlag London, 2014 DOI:10.1007/978-1-4471-5571-3
2. James Keller, Derong Liu, and David Fogel: Fundamentals of computational intelligence: neural networks, fuzzy systems, and evolutionary computation: John Wiley and Sons, 2016, 378 pp,
3. Lionel Tarassenko, 2 - Mathematical background for neural computing, In Guide to Neural Computing Applications, Butterworth-Heinemann, New York, 1998, Pages 5-35, , http://doi.org/10.1016/B978-034070589-6/50002-6.
4. Anthony, Martin (2001). 1. Artificial Neural Networks: 1—8. doi:10.1137/1.9780898718539.
5. Michael Nielsen. Neural Networks and Deep Learning.
6. Stegemann, J. A.; N. R. Buenfeld (2014). A Glossary of Basic Neural Network Terminology for Regression Problems. Neural Computing & Applications. 8 (4): 290—296. doi:10.1007/s005210050034. ISSN 0941-0643.
7. Глосарій термінів з хімії // Й. Опейда, О. Швайка. Ін-т фізико-органічної хімії та вуглехімії ім. Л. М. Литвиненка НАН України, Донецький національний університет. — Донецьк: Вебер, 2008. — 758 с. —
8. Cybenko, G.V. (2006). Approximation by Superpositions of a Sigmoidal function. У van Schuppen, Jan H. (ред.). . Springer International. с. 303—314.
9. Snyman, Jan (3 березня 2005). Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms. Springer Science & Business Media. ISBN .
10. Bergstra, James; Desjardins, Guillaume; Lamblin, Pascal; Bengio, Yoshua (2009). . Département d’Informatique et de Recherche Opérationnelle, Université de Montréal. Архів оригіналу за 25 вересня 2018.
11. Glorot, Xavier; Bengio, Yoshua (2010), (PDF), International Conference on Artificial Intelligence and Statistics (AISTATS’10), Society for Artificial Intelligence and Statistics, архів оригіналу (PDF) за 1 квітня 2017
12. Carlile, Brad; Delamarter, Guy; Kinney, Paul; Marti, Akiko; Whitney, Brian (9 листопада 2017). Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs). arXiv:1710.09967 [cs.LG].
13. Nair, Vinod; Hinton, Geoffrey E. (2010), Rectified Linear Units Improve Restricted Boltzmann Machines, 27th International Conference on International Conference on Machine Learning, ICML'10, USA: Omnipress, с. 807—814, ISBN 
14. Maas, Andrew L.; Hannun, Awni Y.; Ng, Andrew Y. (June 2013). (PDF). Proc. ICML. 30 (1). Архів оригіналу (PDF) за 3 січня 2017. Процитовано 2 січня 2017.
15. He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (6 лютого 2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. arXiv:1502.01852 [cs.CV].
16. Xu, Bing; Wang, Naiyan; Chen, Tianqi; Li, Mu (4 травня 2015). Empirical Evaluation of Rectified Activations in Convolutional Network. arXiv:1505.00853 [cs.LG].
17. Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (23 листопада 2015). Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs). arXiv:1511.07289 [cs.LG].
18. Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (8 червня 2017). Self-Normalizing Neural Networks. arXiv:1706.02515 [cs.LG].
19. Jin, Xiaojie; Xu, Chunyan; Feng, Jiashi; Wei, Yunchao; Xiong, Junjun; Yan, Shuicheng (22 грудня 2015). Deep Learning with S-shaped Rectified Linear Activation Units. arXiv:1512.07030 [cs.CV].
20. Forest Agostinelli; Matthew Hoffman; Peter Sadowski; Pierre Baldi (21 грудня 2014). Learning Activation Functions to Improve Deep Neural Networks. arXiv:1412.6830 [cs.NE].
21. Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). Deep sparse rectifier neural networks (PDF). International Conference on Artificial Intelligence and Statistics.
22. Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
23. Searching for Activation Functions
24. Godfrey, Luke B.; Gashler, Michael S. (3 лютого 2016). A continuum among logarithmic, linear, and exponential functions, and its potential to improve generalization in neural networks. 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management: KDIR. 1602: 481—486. arXiv:1602.01321. Bibcode:2016arXiv160201321G.
25. Gashler, Michael S.; Ashmore, Stephen C. (9 травня 2014). Training Deep Fourier Neural Networks To Fit Time-Series Data. arXiv:1405.2262 [cs.NE].
26. Goodfellow, Ian J.; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (18 лютого 2013). Maxout Networks. JMLR WCP. 28 (3): 1319—1327. arXiv:1302.4389. Bibcode:2013arXiv1302.4389G.