Завісні втрати

Завісні втрати (англ. hinge loss) у машинному навчанні — це функція втрат, яка використовується для навчання класифікаторів. Завісні втрати використовують для максимальної розділової класифікації, здебільшого для опорних векторних машин (ОВМ). Для поміченого виходу t = ±1 та оцінки класифікатора y, завісна втрата передбачення y визначається як

Графік завісних втрат (синій, вимірюється вертикально) проти (0-1 втрат) (вимірюється вертикально; не правильна класифікація позначена зеленим: y < 0) для t = 1 та змінна y (вимірюється горизонтально). Бачимо, що завісні втрати штрафують передбачення y < 1, відповідно до розділення в опорній веторній машині.

${\displaystyle \ell (y)=\max(0,1-t\cdot y).}$

Варто зауважити, що тут y є «сирим» значенням функції прийняття рішення у класифікаторі, а не міткою класу. Наприклад, в лінійних ОВМ ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}$, де ${\displaystyle (\mathbf {w} ,b)}$ є параметрами гіперплощини та ${\displaystyle \mathbf {x} }$ — точка, яку потрібно класифікувати.

Зрозуміло, що коли t та y мають однаковий знак (що означає, що y вказує на правильний клас) та ${\displaystyle |y|\geqslant 1}$, тоді завісні втрати ${\displaystyle \ell (y)=0}$, а коли вони мають різні знаки, то ${\displaystyle \ell (y)}$ зростає лінійно від y (одностороння помилка). На рисунку пояснюється, чому завісні втрати дають кращу оцінку втрат ніж (функція нуль-один).

Узагальнення

Хоч є поширеною практикою узагальнення бінарних ОВМ на ^[en] ОВМ у режимі один з усіх або один в один, також можливе узагальнення з використанням завісної функції. Було запропоновано декілька різних багатокласових завісних втрат. Наприклад, Крамер та Сінгер дали таке визначення у випадку лінійного класифікатора:

${\displaystyle \ell (y)=\max(0,1+\max _{t\neq y}\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

Тут ${\displaystyle y}$ — мітка цілі, ${\displaystyle \mathbf {w} _{t}}$ та ${\displaystyle \mathbf {w} _{y}}$ — параметри моделі.

Вестон і Воткінс дали подібне визначення, але з сумою замість максимуму:

${\displaystyle \ell (y)=\sum _{t\neq y}\max(0,1+\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

При структуровому передбачуванні завісні втрати можуть бути поширені на структуровані вихідні простори. ^[en] з масштабуванням розділення використовує наступний варіант, де w позначає параметри ОВМ, y — передбачення ОВМ, φ додає функцію ознак та Δ є відстанню Геммінга:

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle ).\end{aligned}}}$

Оптимізація

Завісні втрати є опуклою функцією, отже, опуклі оптимізатори, що використовуються у машинному навчанні, можуть працювати з ними. Це не диференційовна функція, проте вона має субградієнт відносно параметрів моделі w лінійної ОВМ з функцією оцінки ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$, який буде

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}}$

Креслення трьох варіантів завісних втрат як функції z = ty: «звичайний» варіант (синій), його квадрат (зелений), і кусково гладкий варіант Ренні та Сребро (червоний).

Однак, оскільки похідна завісних втрат при ${\displaystyle ty=1}$ невизначена, то гладкий варіант, запропонований Ренні та Сребро, є більш бажаним для оптимізації

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty\leq 1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

або квадратично гладкий

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

запропонований Чангом. Модифікований варіант ^[en]${\displaystyle L}$ є спеціальним випадком цієї функції втрат з ${\displaystyle \gamma =2}$, зокрема, ${\displaystyle L(t,y)=4\ell _{2}(y)}$.

Примітки

1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). (PDF). Neural Computation. 16 (5): 1063—1076. doi:10.1162/089976604773135104. PMID 15070510. Архів оригіналу (PDF) за 11 січня 2020. Процитовано 8 серпня 2018.
2. Duan, K. B.; Keerthi, S. S. (2005). Which Is the Best Multiclass SVM Method? An Empirical Study. (PDF). . Т. 3541. с. 278—285. doi:10.1007/11494683_28. ISBN . Архів оригіналу (PDF) за 31 жовтня 2012. Процитовано 8 серпня 2018.
3. Doğan, Ürün; Glasmachers, Tobias; Igel, Christian (2016). (PDF). J. Machine Learning Research. 17: 1—32. Архів оригіналу (PDF) за 5 травня 2018. Процитовано 8 серпня 2018.
4. Crammer, Koby; Singer, Yoram (2001). (PDF). J. Machine Learning Research. 2: 265—292. Архів оригіналу (PDF) за 29 серпня 2015. Процитовано 8 серпня 2018.
5. Moore, Robert C.; DeNero, John (2011). (PDF). Proc. Symp. on Machine Learning in Speech and Language Processing. Архів оригіналу (PDF) за 28 серпня 2017. Процитовано 8 серпня 2018.
6. Weston, Jason; Watkins, Chris (1999). (PDF). European Symposium on Artificial Neural Networks. Архів оригіналу (PDF) за 5 травня 2018. Процитовано 8 серпня 2018.
7. Rennie, Jason D. M.; Srebro, Nathan (2005). (PDF). Proc. IJCAI Multidisciplinary Workshop on Advances in Preference Handling. Архів оригіналу (PDF) за 6 листопада 2015. Процитовано 9 червня 2019.
8. Zhang, Tong (2004). (PDF). ICML. Архів оригіналу (PDF) за 4 червня 2019. Процитовано 9 червня 2019.