Виключення або дропаут від англ dropout метод регуляризації штучних нейронних мереж призначений для запобігання перенавч

Виключення або дропаут (від англ. dropout) — метод регуляризації штучних нейронних мереж, призначений для запобігання перенавчання мережі. Метод значно підвищує швидкість навчання.

Суть методу полягає в тому, що в процесі навчання із загальної мережі випадковим чином виділяється підмережа, для якої здійснюється навчання. Після навчання обраної підмережі випадковим чином обирається нова підмережа і навчання продовжується. Вибір нейронів для підмережі відбувається випадковим чином з ймовірністю, яка називається коефіцієнтом дропаута. Більш навчені нейрони отримують в мережі більшу вагу.

Під час тестування дропаут не застосовується.

Див. також

Згорткова нейронна мережа § Виключення

Посилання

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting [ 5 грудня 2019 у Wayback Machine.]