Доречно-векторна машина

У математиці, доре́чно-ве́кторна маши́на (ДВМ, англ. Relevance Vector Machine, RVM) — це методика машинного навчання, яка використовує баєсове висновування для отримання ощадливих розв'язків для регресії та ймовірнісної класифікації. ДВМ має однаковий функційний вигляд з опорно-векторною машиною, але забезпечує ймовірнісну класифікацію.

Вона фактично рівнозначна моделі ґаусового процесу з ^[en]

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

де ${\displaystyle \varphi }$ є ^[en] (зазвичай ґаусовою), ${\displaystyle \alpha _{j}}$ є дисперсіями апріорних значень елементів вектора вагових коефіцієнтів ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, а ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$ є вхідними векторами тренувального набору.

У порівнянні з опорно-векторними машинами (ОВМ, англ. support vector machines, SVM), баєсове формулювання ДВМ уникає набору вільних параметрів, як в ОВМ (які зазвичай вимагають післяоптимізацій на основі перехресної перевірки). Проте ДВМ використовують метод навчання, подібний до очікування-максимізації, і відтак схильні до ризику локальних мінімумів. Це відрізняється від стандартних алгоритмів на основі послідовної мінімальної оптимізації (ПМО), що використовують ОВМ, які гарантують знаходження глобального оптимуму (для опуклої задачі).

Доречно-векторну машину ^[en] компанією Microsoft.

Див. також

• Ядровий трюк
• ^[en]: перетворює ОВМ на ймовірнісну модель

Примітки

1. Tipping, Michael E. (2001). . Journal of Machine Learning Research. 1: 211—244. Архів оригіналу за 19 лютого 2020. Процитовано 31 жовтня 2016. (англ.)
2. Candela, Joaquin Quiñonero (2004). Sparse Probabilistic Linear Models and the RVM. (PDF) (Ph.D.). Technical University of Denmark. Архів оригіналу (PDF) за 8 травня 2016. Процитовано 22 квітня 2016. (англ.)
3. US 6633857, Michael E. Tipping, "Relevance vector machine"  (англ.)

Програмне забезпечення

• dlib [ 17 вересня 2020 у Wayback Machine.], бібліотека для
• The Kernel-Machine Library [ 13 серпня 2020 у Wayback Machine.], бібліотека для C++
• rvmbinary [ 18 березня 2017 у Wayback Machine.], пакет R для бінарної класифікації
• scikit-rvm [ 11 червня 2018 у Wayback Machine.]
• fast-scikit-rvm [ 1 березня 2017 у Wayback Machine.], rvm tutorial [ 18 грудня 2020 у Wayback Machine.]

Посилання

• Сторінка Тіппінга про Розріджені баєсові моделі та ДВМ [ 4 липня 2008 у Wayback Machine.] (англ.)
• (англ.)
• Прикладний посібник із ДВМ [ 18 грудня 2020 у Wayback Machine.] (англ.)
• Порівняння ДВМ та ОВМ (англ.)