Функції втрат для класифікації

У машинному навчанні та математичній оптимізації функції втрат для класифікації є обчислювальними функціями втрат, що представляють ціну, сплачену за неточність прогнозів у задачах класифікації (потрібно ідентифікувати до якої категорії належить конкретне спостереження).

Баєсові функції втрат: (фунція втрат 0-1) (сірий), фунція втрат Севіджа (зелений), логістична функція втрат (помаранчевий), експоненціальна функція втрат (фіолетовий), тангенсна функція втрат (коричневий), (квадратична функція втрат) (синій).

Дано ${\displaystyle {\mathcal {X}}}$ як простір усіх можливих вхідних даних (зазвичай ${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$), і ${\displaystyle {\mathcal {Y}}=\{-1,1\}}$ як набір міток (можливих вихідних даних), типовою метою алгоритмів класифікації є пошук функції ${\displaystyle f:{\mathcal {X}}\mapsto \mathbb {R} }$, яка найкраще прогнозує значення мітки ${\displaystyle y}$ для заданого входу ${\displaystyle {\vec {x}}}$. Однак, через неповну інформацію, наявність шуму під час вимірювання, або ймовірнісні складові процесу, який досліджується, можливо для одного і того ж самого ${\displaystyle {\vec {x}}}$ мати, як передбачення, різні ${\displaystyle y}$. В результаті, метою навчання є мінімізація очікуваних втрат (також відомих як ризик), визначених як

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy}$

де ${\displaystyle V(f({\vec {x}}),y)}$ — задана функція втрат і ${\displaystyle p({\vec {x}},y)}$ — функція густини ймовірності процесу, яка генерує дані. Еквівалентно цю функцію можна записати як

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

У рамках класифікації часто використовують функції втрат, трактовані виключно в термінах добутку справжньої мітки ${\displaystyle y}$ на передбачену мітку ${\displaystyle f({\vec {x}})}$. Отже, їх можна визначити як функцію лише однієї змінної ${\displaystyle \upsilon =yf({\vec {x}})}$, таким чином ${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$ з правильно обраною функцією ${\displaystyle \phi :\mathbb {R} \to \mathbb {R} }$. Вони називаються функціями втрат на основі маржі (margin-based loss functions). Вибір функції втрат на основі маржі прирівнюється до вибору ${\displaystyle \phi }$. Обрання функції втрат у цій структурі впливає на оптимальну ${\displaystyle f_{\phi }^{*}}$, яка мінімізує очікуваний ризик.

У разі бінарної класифікації можна спростити розрахунок очікуваного ризику за допомогою зазначеного вище інтегралу. Зокрема,

${\displaystyle {\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))p(y\mid {\vec {x}})p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))p(-1\mid {\vec {x}})]p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]p({\vec {x}})\,d{\vec {x}}\end{aligned}}}$

Друга рівність випливає з описаних вище властивостей. Третя рівність випливає з того факту, що 1 і −1 є єдино можливими значеннями для ${\displaystyle y}$, а четверте — за рахунок ${\displaystyle p(-1\mid x)=1-p(1\mid x).}$ Вираз у дужках ${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$ відомий як очікуваний ризик.

Для мінімізатора ${\displaystyle I[f]}$ можна вирішити проблему, взявши функціональну похідну від останньої рівності відносно ${\displaystyle f}$, при цьому встановити похідну рівною 0. Це призведе до рівняння

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0\;\;\;\;\;(1)}$

що також є еквівалентним встановленню похідної від умовного ризику рівною нулю.

Враховуючи бінарну природу класифікації, природним відбором для функції втрат (припускаючи однакову вартість хибно позитивного та хибно негативного) буде (функція втрат 0-1) (характеристична функція 0–1). Вона приймає значення 0, якщо прогнозована класифікація дорівнює класифікації істинного класу або 1, якщо прогнозована класифікація не відповідає істинному класу. Цей вибір моделюється за формулою

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

де ${\displaystyle H}$ позначає ступінчасту функцію Гевісайда. Однак, ця функція втрат є неопуклою і негладкою, і пошук оптимального рішення є NP-складною комбінаторною задачею оптимізації. Як результат, краще розглянути сурогатні функції втрат, які підходять для часто вживаних алгоритмів навчання, оскільки вони мають і опуклі, і гладкі властивості. На додаток до їх обчислювальної керованості, можна показати, що вирішення проблеми навчання з використанням цих сурогатних функцій втрат дозволяють відновити фактичне вирішення вихідної проблеми класифікації. Деякі з цих сурогатів описані нижче.

На практиці, розподіл ймовірностей ${\displaystyle p({\vec {x}},y)}$ є невідомим. Отже, використовуючи навчальний набір з ${\displaystyle n}$ незалежних та однаково розподілених точок вибірки

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

взятих з простору елементарних подій, ми прагнемо мінімізувати емпіричний ризик

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

як непрямий показник очікуваного ризику. (Див. статистичну теорію навчання для більш детального опису.)

Узгодженість Баєса

Використовуючи теорему Баєса, можна показати, що оптимальне ${\displaystyle f_{0/1}^{*}}$, тобто те, що мінімізує очікуваний ризик пов'язаний із 0-1 втратою, реалізує правило оптимального рішення Байєса для проблеми бінарної класифікації та має форму

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$ .

Кажуть, що функція втрат є каліброваною за класифікацією або узгодженою за Баєсом, якщо її оптимальне ${\displaystyle f_{\phi }^{*}}$ є таким, що ${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$ і, таким чином, є оптимальним за правилом Баєса. Узгоджена функція втрат Баєса дозволяє нам знайти функцію оптимального рішення Баєса ${\displaystyle f_{\phi }^{*}}$ шляхом безпосередньої мінімізації очікуваного ризику і без необхідності явного моделювання функцій густини ймовірності.

Для опуклої функції втрат маржі ${\displaystyle \phi (\upsilon )}$, можна показати, що ${\displaystyle \phi (\upsilon )}$ є узгодженою за Баєсом тоді і тільки тоді, коли вона диференційована в 0 і ${\displaystyle \phi '(0)<0}$. Проте цей результат не виключає існування неопуклих та узгоджених за Байєсом функцій втрат. Більш загальний результат стверджує, що узгоджені функції втрат Баєса можна створити за допомогою наступної формулювання

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$ ,

де ${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$ — будь-яка інвертована функція така, що ${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$ і ${\displaystyle C(\eta )}$ — будь-яка диференційована строго угнута функція така, що ${\displaystyle C(\eta )=C(1-\eta )}$. Таблиця-I демонструє створені узгоджені функції втрат Баєса для деяких прикладів ${\displaystyle C(\eta )}$ і ${\displaystyle f^{-1}(v)}$. Зверніть увагу, що функції втрат Savage і Tangent не є опуклими. Виявилося, що такі неопуклі функції втрат корисні для боротьби з промахами в класифікації. Для всіх функцій втрат, породжених з (2), апостеріорну ймовірність ${\displaystyle p(y=1|{\vec {x}})}$ можна знайти за допомогою функції зворотного звʼязку як ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$. Функції втрат, де апостеріорна ймовірність може бути відновлена за допомогою інветнованого зв'язку, називаються власними функціями втрат.

Таблиця-I

Назва функції втрат	${\displaystyle \phi (v)}$	${\displaystyle C(\eta )}$	${\displaystyle f^{-1}(v)}$	${\displaystyle f(\eta )}$
Експоненціальна	${\displaystyle e^{-v}}$	${\displaystyle 2{\sqrt {\eta (1-\eta )}}}$	${\displaystyle {\frac {e^{2v}}{1+e^{2v}}}}$	${\displaystyle {\frac {1}{2}}\log({\frac {\eta }{1-\eta }})}$
Логістична	${\displaystyle {\frac {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
Квадратна	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle {\frac {1}{2}}(v+1)}$	${\displaystyle 2\eta -1}$
Savage	${\displaystyle {\frac {1}{(1+e^{v})^{2}}}}$	${\displaystyle \eta (1-\eta )}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
Tangent	${\displaystyle (2\arctan(v)-1)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle \arctan(v)+{\frac {1}{2}}}$	${\displaystyle \tan(\eta -{\frac {1}{2}})}$

Єдиний мінімізатор очікуваного ризику, ${\displaystyle f_{\phi }^{*}}$, пов'язаний з вищезгаданими функціями втрат, можна безпосередньо знайти з рівняння (1) і показати, що він дорівнює відповідній ${\displaystyle f(\eta )}$. Це справедливо навіть для неопуклих функцій втрат і означає, що алгоритми на основі градієнтного спуску, такі як ^[en], можна використовувати для побудови мінімізатора.

Власні функції втрат, маржа втрат та регуляризація

(Червоний) стандартна логістична втрата (${\displaystyle \gamma =1,\mu =2}$) і (Синій) підвищена маржа у логістичній втраті (${\displaystyle \gamma =0.2}$).

Для власних функцій втрат маржу можна визначити як ${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}$ і показати, що вона безпосередньо пов'язана з властивостями регуляризації класифікатора. Зокрема, функція втрат з більшою маржою збільшує регуляризацію і дає кращі оцінки апостеріорної ймовірності. Наприклад, маржа втрат може бути збільшена для логістичних функцій втрат шляхом введення ${\displaystyle \gamma }$ параметра і визначення функції як ${\displaystyle {\frac {1}{\gamma }}\log(1+e^{-\gamma v})}$, де менший ${\displaystyle 0<\gamma <1}$ збільшує маржу втрат. Показано, що це прямо еквівалентно зменшенню швидкості навчання при ^[en] ${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),}$ де зменшення параметру ${\displaystyle \gamma }$ покращує регуляризацію посиленого класифікатора. Теорія чітко дає зрозуміти, що використання швидкості навчання ${\displaystyle \gamma }$ зумовлює появу корректної формули для отримання апостеріорної ймовірності ${\displaystyle \eta =f^{-1}(\gamma F(x))}$.

На закінчення, обравши функцію втрат з більшою маржою (меншим ${\displaystyle \gamma }$), ми збільшуємо регуляризацію та покращуємо наші оцінки апостеріорної ймовірності, що, у свою чергу, покращує криву ROC кінцевого класифікатора.

Квадратична функція втрат

Хоча квадратична функція втрат частіше використовується в регресії, її можна переписати як функцію ${\displaystyle \phi (yf({\vec {x}}))}$ і використовувати для класифікації. Квадратичну функцію можна створити за допомогою (2) і Таблиці-I наступним чином

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.}$

Функція квадратичних втрат є як опуклою, так і гладкою. Однак, квадратична функція втрат має тенденцію надмірно штрафувати промахи, що призводить до повільніших показників збіжності (що стосується складності вибірки) порівняно з функціями логістичних або шарнірних втрат. Крім того, функції, які дають високі значення ${\displaystyle f({\vec {x}})}$ для деяких ${\displaystyle x\in X}$ будуть погано працювати з функцією квадратичних втрат, оскільки високі значення ${\displaystyle yf({\vec {x}})}$ будуть суворо каратися, незалежно від того, чи співпадають ознаки у ${\displaystyle y}$ і ${\displaystyle f({\vec {x}})}$.

Перевага функції квадратичних втрат полягає в тому, що її структура піддається легкій перехресній перевірці параметрів регуляризації. Спеціально для регуляризації Тихонова можна вирішити задачу для параметра регуляризації, використовуючи перехресну перевірку без виключення, за той самий час, що й для вирішення однієї проблеми.

Мінімізатор ${\displaystyle I[f]}$ для квадратичної функції втрат можна знайти безпосередньо з рівняння (1) як

${\displaystyle f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.}$

Логістична функція втрат

Логістична функція втрат може бути отримана за допомогою (2) та таблиці-I наступним чином

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}}$

Логістична функція втрат є опуклою і зростає лінійно для від'ємних значень, що робить її менш чутливою до викидів. Логістичні втрати використовуються в ^[en].

Мінімізатор ${\displaystyle I[f]}$ для логістичної функції втрат можна знайти безпосередньо з рівняння (1) як

${\displaystyle f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Ця функція не визначена, коли ${\displaystyle p(1\mid x)=1}$ або ${\displaystyle p(1\mid x)=0}$ (що прямує до ∞ і −∞ відповідно), але передбачає плавну криву, яка зростає, коли ${\displaystyle p(1\mid x)}$ росте і дорівнює 0, коли ${\displaystyle p(1\mid x)=0.5.}$

Легко перевірити, що логістична функція втрат та функція втрат від двійково перехресної ентропії (Log втрата) насправді однакові (до множення на константу ${\displaystyle {\frac {1}{\log(2)}}}$). Функція втрат від перехресної ентропії тісно пов'язана з розходженням Кульбака–Лейблера між емпіричним і прогнозованим розподілом. Перехресні втрати ентропії є широко розповсюдженими у сучасних глибоких нейронних мережах.

Експоненціальна функція втрат

Експоненціальну функцію втрат можна згенерувати за допомогою (2) та таблиці-I наступним чином

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {({\frac {e^{2v}}{1+e^{2v}}})(1-{\frac {e^{2v}}{1+e^{2v}}})}}+(1-{\frac {e^{2v}}{1+e^{2v}}})({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}})=e^{-v}}$

Експоненціальна функція втрат є опуклою і зростає експоненціально для негативних значень, що робить її більш чутливою до викидів. Експоненціальна функція втрат використовується в ^[en].

Мінімізатор ${\displaystyle I[f]}$ для експоненціальної функції втрат можна безпосередньо знайти з рівняння (1) як

${\displaystyle f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Функція втрат Savage

Функцію втрат Savage можна отримати за допомогою (2) та таблиці-I наступним чином

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=({\frac {e^{v}}{1+e^{v}}})(1-{\frac {e^{v}}{1+e^{v}}})+(1-{\frac {e^{v}}{1+e^{v}}})(1-{\frac {2e^{v}}{1+e^{v}}})={\frac {1}{(1+e^{v})^{2}}}.}$

Функція втрат Savage є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Функція втрат Savage була використана для ^[en] та в алгоритмі SavageBoost.

Мінімізатор ${\displaystyle I[f]}$ для функції втрат Savage можна безпосередньо знайти з рівняння (1) як

${\displaystyle f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Функція втрат Tangent

Тангенсну функцію втрат можна отримати за допомогою (2) та таблиці-I наступним чином

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4(\arctan(v)+{\frac {1}{2}})(1-(\arctan(v)+{\frac {1}{2}}))+(1-(\arctan(v)+{\frac {1}{2}}))(4-8(\arctan(v)+{\frac {1}{2}}))\\&=(2\arctan(v)-1)^{2}.\end{aligned}}}$

Тангенсна функція втрат є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Цікаво, що тангенсна функція втрат також накладає обмежене покарання на точки, які були класифіковані як «занадто правильні». Це може допомогти у запобіганні перенавчанню набору даних. Тангенсна функція втрат використовується для ^[en], алгоритму TangentBoost та Alternating Decision Forests.

Мінімізатор ${\displaystyle I[f]}$ для тангенсної функції втрат можна безпосередньо знайти з рівняння (1) як

${\displaystyle f_{\text{Tangent}}^{*}=\tan(\eta -{\frac {1}{2}})=\tan(p(1\mid x)-{\frac {1}{2}}).}$

Завісна функція втрат

Докладніше: Завісні втрати

Завісна функція втрат визначається за допомогою ${\displaystyle \phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}}$, де ${\displaystyle [a]_{+}=\max(0,a)}$ — ^[en] функції.

${\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.}$

Завісна функція втрат забезпечує відносно жорстку, опуклу верхню межу для характеристичної функції 0–1. Зокрема, завісна функція втрат дорівнює характеристичній функції 0–1, коли ${\displaystyle \operatorname {sgn} (f({\vec {x}}))=y}$ і ${\displaystyle |yf({\vec {x}})|\geqslant 1}$. Крім того, емпірична мінімізація ризику цієї втрати еквівалентна класичному формулюванню для методу опорного вектора (SVM). Правильно класифіковані точки, що лежать за межами мержі опорних векторів, не штрафуються, тоді як точки в межах границь або на неправильній стороні гіперплощини штрафуються лінійно порівняно з їх відстанню до правильної межі.

Хоча завісна функція втрат є як опуклою, так і безперервною, вона не є гладкою (не диференційованою) при ${\displaystyle yf({\vec {x}})=1}$. Отже, вона не може використовуватися з методами градієнтного спуску або методами стохастичного градієнтного спуску, які покладаються на диференційованість по всій області. Проте завісна функція втрат має субградієнт на ${\displaystyle yf({\vec {x}})=1}$, що дозволяє використовувати субградієнтні методи спуску. SVM, які використовують завісну функцію втрат, також можна вирішити за допомогою квадратичного програмування .

Мінімізатор ${\displaystyle I[f]}$ для завісної функції втрат визначається як

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

коли ${\displaystyle p(1\mid x)\neq 0.5}$, що відповідає характеристичній функції 0–1. Цей висновок робить завісну функція втрат досить привабливою, оскільки можна встановити межі як різницю між очікуваним ризиком та знаком завісної функції втрат. Завісну функція втрат не можна отримати з (2), оскільки ${\displaystyle f_{\text{Hinge}}^{*}}$ не є оберненою.

Узагальнена плавна завісна функція втрат

Узагальнена плавна завісна функція втрат з параметром ${\displaystyle \alpha }$ визначається як

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leqslant 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geqslant 1\end{cases}},}$

де

${\displaystyle z=yf({\vec {x}}).}$

Вона монотонно зростає і досягає 0, коли ${\displaystyle z=1}$.

Див. також

• ^[en]

Примітки

1. Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). Are Loss Functions All the Same? (PDF). Neural Computation. 16 (5): 1063—1076. doi:10.1162/089976604773135104. PMID 15070510.
2. Shen, Yi (2005), Loss Functions For Binary Classification and Class Probability Estimation (PDF), University of Pennsylvania, процитовано 6 грудня 2014
3. Rosasco, Lorenzo; Poggio, Tomaso (2014), A Regularization Tour of Machine Learning, MIT-9.520 Lectures Notes, т. Manuscript
4. Piyush, Rai (13 вересня 2011), Support Vector Machines (Contd.), Classification Loss Functions and Regularizers (PDF), Utah CS5350/6350: Machine Learning, процитовано 4 травня 2021
5. Ramanan, Deva (27 лютого 2008), Lecture 14 (PDF), UCI ICS273A: Machine Learning, процитовано 6 грудня 2014
6. Bartlett, Peter L.; Jordan, Michael I.; Mcauliffe, Jon D. (2006). Convexity, Classification, and Risk Bounds. Journal of the American Statistical Association. 101 (473): 138—156. doi:10.1198/016214505000000907. ISSN 0162-1459. JSTOR 30047445.
7. Masnadi-Shirazi, Hamed; Vasconcelos, Nuno (2008). On the Design of Loss Functions for Classification: Theory, Robustness to Outliers, and SavageBoost (PDF). Proceedings of the 21st International Conference on Neural Information Processing Systems. NIPS'08. USA: Curran Associates Inc.: 1049—1056. ISBN .
8. Leistner, C.; Saffari, A.; Roth, P. M.; Bischof, H. (September 2009). On robustness of on-line boosting - a competitive study. 2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops: 1362—1369. doi:10.1109/ICCVW.2009.5457451. ISBN .
9. Vasconcelos, Nuno; Masnadi-Shirazi, Hamed (2015). A View of Margin Losses as Regularizers of Probability Estimates. Journal of Machine Learning Research. 16 (85): 2751—2795. ISSN 1533-7928.
10. Rifkin, Ryan M.; Lippert, Ross A. (1 травня 2007), Notes on Regularized Least Squares (PDF), MIT Computer Science and Artificial Intelligence Laboratory
11. Masnadi-Shirazi, H.; Mahadevan, V.; Vasconcelos, N. (June 2010). On the design of robust classifiers for computer vision. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 779—786. doi:10.1109/CVPR.2010.5540136. ISBN .
12. Schulter, S.; Wohlhart, P.; Leistner, C.; Saffari, A.; Roth, P. M.; Bischof, H. (June 2013). Alternating Decision Forests. 2013 IEEE Conference on Computer Vision and Pattern Recognition: 508—515. doi:10.1109/CVPR.2013.72. ISBN .