Ця стаття потребує додаткових для поліпшення її . (червень 2020) |
Перехре́сне затве́рджування (англ. cross-validation), іноді зване ротаці́йним оці́нюванням (англ. rotation estimation) або позави́бірковим випро́буванням (англ. out-of-sample testing), — це будь-яка з подібних методик затверджування моделі для оцінювання того, наскільки результати статистичного аналізу узагальнюватимуться на незалежний набір даних. Перехресне затверджування включає методи [en] й розділення вибірки, які на різних ітераціях використовують різні частини даних для випробування й тренування моделі. Його часто використовують в постановках, де метою є передбачування, й потрібно оцінити те, наскільки точно передбачувальна модель працюватиме на практиці. Також його можливо використовувати для оцінювання якості допасованої моделі й стабільності її параметрів.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODJMell4TDBOdmJtWjFjMmx2Ymw5dFlYUnlhWGd1Y0c1bkx6STFNSEI0TFVOdmJtWjFjMmx2Ymw5dFlYUnlhWGd1Y0c1bi5wbmc=.png)
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODFMelZtTDBzdFptOXNaRjlqY205emMxOTJZV3hwWkdGMGFXOXVYMVZMTG5OMlp5OHlOVEJ3ZUMxTExXWnZiR1JmWTNKdmMzTmZkbUZzYVdSaGRHbHZibDlWU3k1emRtY3VjRzVuLnBuZw==.png)
В задачі передбачування зазвичай моделі дають набір відомих даних, на яких виконують тренування (тренувальний набір даних), та набір невідомих даних (або вперше бачених даних), на яких модель випробовують (званий затверджувальним або випробувальним набором даних). Метою перехресного затверджування є випробувати здатність моделі передбачувати нові дані, які не використовували при її визначенні, щоби просигналізувати про такі проблеми як перенавчання та ви́біркове упередження, і щоби дати уявлення про те, як ця модель узагальнюватиметься на незалежний набір даних (тобто, невідомий набір даних, наприклад, з реальної задачі).
Один раунд перехресного затверджування містить розбивання вибірки даних на взаємодоповнювальні піднабори, виконання аналізу на одному з піднаборів (званому тренувальним набором) та затверджування результатів на іншому піднаборі (званому затверджувальним або випробувальним набором). З метою зниження мінливості, в більшості методів виконують декілька раундів перехресного затверджування з використанням різних розбиттів, і, щоби дати оцінку передбачувальної продуктивності моделі, результати затверджування поєднують (наприклад, усереднюють) над раундами.
Коротко, перехресне затверджування поєднує (усереднює) міри допасованості в передбачуванні, щоби вивести точнішу оцінку передбачувальної продуктивності моделі.
Обґрунтування
Розгляньмо модель з одним чи більше невідомими параметрами, та набір даних, до якого цю модель можливо допасувати (тренувальний набір даних). Процес допасовування оптимізує ці параметри моделі, щоби зробити модель якнайкраще допасованою до цих тренувальних даних. Якщо незалежну вибірку затверджувальних даних взяти із тієї ж сукупності, що й тренувальні дані, то, як правило, виявиться, що ця модель не допасовується до затверджувальних даних так же добре, як вона допасовується до даних тренувальних. Розмір цієї різниці може бути великим, особливо коли розмір тренувального набору даних є малим, або коли число параметрів моделі є великим. Перехресне затверджування є одним зі способів оцінити розмір цього ефекту.
Приклад: лінійна регресія
В лінійній регресії існують дійсні значення відгуку , та n p-вимірних векторних коваріат x1, …, xn. Компоненти вектора xi позначують через xi1, …, xip. Якщо використовують найменші квадрати, щоби допасувати функцію в вигляді гіперплощини ŷ = a + βTx до даних (xi, yi) 1 ≤ i ≤ n, то допасованість можливо оцінювати, застосовуючи середньоквадратичну похибку (СКП, англ. mean squared error, MSE). СКП для заданих оцінюваних значень параметрів a та β на тренувальному наборі (xi, yi) 1 ≤ i ≤ n визначено як:
Якщо модель вказано правильно, то за м'яких припущень може бути показано, що математичне сподівання СКП для тренувального набору становить (n − p − 1)/(n + p + 1) < 1 на математичне сподівання СКП для затверджувального набору[] (математичне сподівання береться над розподілом тренувальних наборів). Таким чином, допасована модель й обчислена СКП на тренувальному наборі даватимуть в результаті оптимістично упереджену оцінку того, наскільки добре ця модель допасовуватиметься на незалежному наборі даних. Цю упереджену оцінку називають внутрішньовибірковою (англ. in-sample) оцінкою допасованості, тоді як оцінку перехресного затверджування називають позавибірковою (англ. out-of-sample) оцінкою.
Оскільки в лінійній регресії можливо безпосередньо обчислювати коефіцієнт (n − p − 1)/(n + p + 1), на який тренувальна СКП недооцінює затверджувальну СКП за припущення, що модель вказано правильно, то перехресне затверджування можливо застосовувати, щоби перевіряти, чи не було модель перенавчено, в разі чого СКП у затверджувальному наборі значно перевищуватиме її очікуване значення. (Перехресне затверджування в контексті лінійної регресії також корисне тим, що його можливо використовувати, щоби обирати оптимально регуляризовану функцію витрат.)
Загальний випадок
В більшості інших регресійних процедур (наприклад, у логістичній регресії) простої формули для обчислення очікуваної позавибіркової допасованості не існує. Перехресне затверджування, відтак, є загально застосовним способом передбачувати продуктивність моделі на недоступних даних із застосуванням чисельних обчислень замість теоретичного аналізу.
Типи
Можливо вирізнити два типи перехресного затверджування: вичерпне (англ. exhaustive) та невичерпне (англ. non-exhaustive).
Вичерпне перехресне затверджування
Вичерпні методи перехресного затверджування — це такі методи перехресного затверджування, які навчаються та випробовуються на всіх можливих способах поділу первинної вибірки на тренувальний та затверджувальний набори.
Перехресне затверджування з виключенням по p
Перехресне затверджування з виключенням по p (ПЗ ВПp, англ. leave-p-out cross-validation, LpO CV) передбачає використання p спостережень як затверджувального набору, й решти спостережень як набору тренувального. Це повторюють всіма способами розрізування первинної вибірки на затверджувальний набір із p спостережень, та тренувальний набір.
Перехресне затверджування ВПp вимагає тренування та затверджування моделі разів, де n — число спостережень у первинній вибірці, й де
— біноміальний коефіцієнт. Для p > 1 й для навіть помірно великого n ПЗ ВПp може стати обчислювально нездійсненним. Наприклад, за n = 100 та p = 30,
.
Варіант перехресного затверджування ВПp із p = 2, відомий як перехресне затверджування з виключенням парами, було рекомендовано як майже неупереджений метод оцінювання площі під кривою РХП бінарних класифікаторів.
Перехресне затверджування з виключенням по одному
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHpMek5sTDB4UFQwTldYMVZMTG1kcFppOHpNREJ3ZUMxTVQwOURWbDlWU3k1bmFXWT0uZ2lm.gif)
Перехресне затверджування з виключенням по одному (ПЗВПО, англ. leave-one-out cross-validation, LOOCV) — це окремий випадок перехресного затверджування з виключенням по p із p = 1. Цей процес виглядає подібним до складаного ножа, проте при перехресному затверджуванні обчислюють статистику на виключених зразках, тоді як при складаноножуванні обчислюють статистику лише для залишених зразків.
Перехресне затверджування ВПО вимагає меншого обчислювального часу, ніж ВПp, оскільки має лише проходів замість
. Проте
проходів все одно можуть вимагати вельми великого обчислювального часу, в разі чого доречнішими можуть бути інші підходи, такі як k-кратне перехресне затверджування.
Псевдокодовий алгоритм:
Вхід:
x
, {вектор довжини N
зі значеннями x точок входу}
y
, {вектор довжини N
зі значеннями y очікуваного результату}
interpolate(x_in, y_in, x_out)
, { повертає оцінку для точки x_out
після того, як модель було натреновано на парах x_in
—y_in
}
Вихід:
err
, {оцінка похибки передбачування}
Кроки:
err ← 0 for i ← 1, ..., N do // визначити піднабори перехресного затверджування x_in ← (x[1], ..., x[i − 1], x[i + 1], ..., x[N]) y_in ← (y[1], ..., y[i − 1], y[i + 1], ..., y[N]) x_out ← x[i] y_out ← interpolate(x_in, y_in, x_out) err ← err + (y[i] − y_out)^2 end for err ← err/N
Невичерпне перехресне затверджування
Невичерпні методи перехресного затверджування не обчислюють всі способи поділу первинної вибірки. Ці методи є наближенням перехресного затверджування з виключенням по p.
k-кратне перехресне затверджування
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHhMekZsTDB0bWIyeGtRMVpmVlVzdVoybG1Mek0xTUhCNExVdG1iMnhrUTFaZlZVc3VaMmxtLmdpZg==.gif)
В k-кратнім перехреснім затверджуванні (англ. k-fold cross-validation) первинну вибірку випадково розбивають на k підвибірок однакового розміру, часто званих «складниками» (англ. "folds"). З цих k підвибірок одну підвибірку притримують як затверджувальні дані для випробування моделі, а решту k − 1 вибірок використовують як тренувальні дані. Потім процес перехресного затверджування повторюють k разів, використовуючи кожну з k підвибірок як затверджувальні дані рівно один раз. Відтак ці k результатів можливо усереднити, щоб отримати єдину оцінку. Перевагою цього методу перед повторюваним випадковим взяттям підвибірок (див. нижче) є те, що як для тренування, так і для затверджування використовують всі спостереження, й кожне спостереження використовують для затверджування рівно один раз. Зазвичай використовують 10-кратне затверджування, але загалом k залишається вільним параметром.
Наприклад, встановлення k = 2 призводить до 2-кратного перехресного затверджування. У 2-кратнім перехреснім затверджуванні ми випадково розкида́ємо набір даних на два набори d0 та d1 таким чином, що обидва мають однакові розміри (це зазвичай втілюють через перетасовування масиву даних та поділ його навпіл). Потім ми тренуємо на d0 й затверджуємо на d1, після чого тренуємо на d1 й затверджуємо на d0.
Коли k = n (числу спостережень), k-кратне перехресне затверджування рівнозначне перехресному затверджуванню з виключенням по одному.
В стратифікованім (англ. stratified) k-кратнім перехреснім затверджуванні частини обирають таким чином, щоби середнє значення відгуку було приблизно рівним в усіх частинах. У випадку бінарної класифікації це означає, що кожна частина містить приблизно однакову пропорцію двох типів міток класу.
У повторюванім (англ. repeated) перехреснім затверджуванні дані випадково ділять на k частин декілька разів. Продуктивність моделі відтак можливо усереднити над декількома проходами, але на практиці це нечасто є бажаним.
Коли розглядають багато різних статистичних моделей або (моделей машинного навчання), жадібне (англ. greedy) k-кратне перехресне затверджування можуть використовувати для швидкого встановлювання найперспективніших моделей—кандидаток.
Метод притримування
В методі притримування (англ. holdout method) ми випадково призначуємо точки даних двом наборами d0 та d1, зазвичай званим тренувальним та випробувальним наборами відповідно. Розмір кожного з наборів довільний, хоча зазвичай випробувальний набір менший за тренувальний. Потім ми тренуємо (будуємо модель) на d0, та випробуємо (оцінюємо її продуктивність) на d1.
В типовім перехреснім затверджуванні усереднюють результати декількох пробігань моделювання—випробування. На противагу цьому, метод притримування, наодшибі, містить лише одне пробігання. Його слід застосовувати обережно, оскільки без такого усереднювання декількох пробігань можна досягти дуже оманливих результатів. Показник передбачувальної точності (F*) матиме схильність бути нестійким, оскільки його не буде згладжено декількома ітераціями (див. нижче). Аналогічно, схильність бути нестійкими матимуть показники конкретної ролі, яку відіграю́ть ті чи інші передбачувальні змінні (наприклад, значення регресійних коефіцієнтів).
І хоча метод притримування може бути охарактеризовано як «найпростіший тип перехресного затверджування», багато джерел натомість класифікують притримування як один з типів простого затверджування, а не як просту або вироджену форму затверджування перехресного.
Повторюване випадкове підвибіркове затверджування
Цей метод (англ. repeated random sub-sampling validation), відомий також як перехресне затверджування Монте-Карло, створює декілька випадкових поділів набору даних на тренувальні та затверджувальні дані. Для кожного такого поділу модель допасовують до тренувальних даних, й оцінюють її передбачувальну точність, застосовуючи затверджувальні дані. Результати відтак усереднюють над цими поділами. Перевагою цього методу (перед k-кратним перехресним затверджуванням) є те, що пропорція тренувального/затверджувального поділу не залежить від числа ітерацій (тобто, числа розбиттів). Недоліком цього методу є те, що деякі спостереження може ніколи не бути обрано до затверджувальної підвибірки, тоді як інші може бути обрано понад один раз. Іншими словами, затверджувальні піднабори можуть перекриватися. Цей метод також зазнає́ мінливості Монте-Карло, що означає, що результати варіюватимуться, якщо аналіз повторюватимуть з відмінними випадковими поділами.
З наближенням числа випадкових поділів до нескінченності результат повторюваного випадкового підвибіркового затверджування має схильність прямувати до результату перехресного затверджування з виключенням по p.
У стратифікованім варіанті цього підходу випадкові вибірки породжують таким чином, щоби середнє значення відгуку (тобто, залежної змінної в регресії) було рівним у тренувальному й випробувальному наборах. Це особливо корисно, якщо відгуки дихотомні з незбалансованим представленням двох значень відгуку в даних.
Одним з методів, що застосовують повторювану випадкову підвибірку, є RANSAC.
Вкладене перехресне затверджування
Коли перехресне затверджування використовують одночасно для обирання найкращого набору гіперпараметрів та для оцінювання похибки (й здатності до узагальнювання), необхідне вкладене перехресне затверджування (англ. nested cross-validation). Варіантів існує багато. Можливо виділити щонайменше два:
k×l-кратне перехресне затверджування
Це є істинно вкладеним варіантом, що містить зовнішній цикл з k наборів, та внутрішній цикл з l наборів. Загальний набір даних ділять на k наборів. Один по одному, обирають набір як (зовнішній) випробувальний набір, а решту k - 1 наборів поєднують у відповідний зовнішній тренувальний набір. Це повторюють для кожного з k наборів. Кожен зовнішній тренувальний набір ділять далі на l наборів. Один по одному, обирають набір як внутрішній випробувальний (затверджувальний) набір, а решту l - 1 наборів поєднують у відповідний внутрішній тренувальний набір. Це повторюють для кожного з l наборів. Внутрішні тренувальні набори використовують для допасовування параметрів моделі, тоді як зовнішній випробувальний набір використовують як затверджувальний набір, щоби забезпечити неупереджену оцінку допасованості моделі. Зазвичай, це повторюють для багатьох різних гіперпараметрів (або навіть різних типів моделей), і затверджувальний набір використовують для визначення найкращого набору гіперпараметрів (та типу моделі) для цього внутрішнього тренувального набору. Після цього нову модель допасовують до всього зовнішнього тренувального набору, використовуючи найкращий набір гіперпараметрів з внутрішнього перехресного затверджування. Продуктивність цієї моделі потім оцінюють, використовуючи зовнішній випробувальний набір.
k-кратне перехресне затверджування із затверджувальним та випробувальним наборами
Воно є одним з типів k×l-кратного перехресного затверджування, в якому l = k - 1. Одне k-кратне перехресне затверджування використовують як із затверджувальним, так і з випробувальним набором. Загальний набір даних ділять на k наборів. Один по одному, набір обирають як випробувальний. Потім, один по одному, один з наборів, що лишилися, використовують як затверджувальний набір, а решту k - 2 наборів використовують як тренувальні, поки не буде оцінено всі можливі комбінації. Подібно до k×l-кратного перехресного затверджування, тренувальний набір використовують для допасовування моделі, а затверджувальний набір використовують для оцінки моделі для кожного з наборів гіперпараметрів. Нарешті, для обраного набору параметрів використовують випробувальний набір, щоби оцінити модель із найкращим набором параметрів. Тут можливі два варіанти: або оцінювання моделі, що було натреновано на тренувальному наборі, або оцінювання нової моделі, що було допасовано до поєднання тренувального й затверджувального наборів.
Міри допасованості
Мета перехресного затверджування — оцінити очікуваний рівень допасованості моделі до набору даних, незалежних від тих, які було використано для тренування моделі. Його можливо використовувати для оцінювання кількісної міри допасованості, властивої цим даним та моделі. Наприклад, для задач бінарної класифікації кожен випадок у затверджувальному наборі є передбаченим або правильно, або неправильно. В такій ситуації для підбивання підсумку допасованості можливо використовувати рівень похибки неправильної класифікації, хоча також можливо використовувати й інші міри, такі як прогностична значущість позитивного результату. Коли передбачуване значення є розподіленим неперервно, для підсумовування похибок можливо використовувати середньоквадратичну похибку, [en], чи медіану абсолютних відхилень.
Використання апріорної інформації
Коли користувачі застосовують перехресне затверджування для обирання доброї конфігурації , вони можуть хотіти збалансовувати вибір перехресного затверджування з їхньою власною оцінкою конфігурації. Таким чином, вони можуть намагатися протистояти мінливості перехресного затверджування, коли розмір вибірки є малим, і включати доречну інформацію з попередніх досліджень. Наприклад, у вправі поєднування прогнозів перехресне затверджування можливо застосовувати для оцінювання ваг, призначуваних кожному з прогнозів. Оскільки простий рівнозважений прогноз важко перемогти, на відхилення від рівних ваг може бути запроваджено штраф. Або, якщо перехресне затверджування застосовують для призначування індивідуальних ваг спостереженням, то можливо штрафувати відхилення від рівних ваг, щоб уникати марнування потенційно доречної інформації. Гурнвеґ (2018) показує, як можливо визначити параметр налаштування
таким чином, щоби користувач міг інтуїтивно балансувати між точністю перехресного затверджування та просторою дотримування еталонного параметру
, визначеного користувачем.
Якщо позначує
-ту конфігурацію-кандидата, яку могло би бути обрано, то (функцію втрат) для мінімізування може бути визначено як
Відносну точність (англ. relative accuracy) може бути виражено кількісно як , так що середньоквадратичну похибку кандидата
роблять відносною до визначеної користувачем
. Член відносної простоти (англ. relative simplicity) вимірює величину, на яку
відхиляється від
, по відношенню до максимальної величини відхилення від
. Відповідно, відносну простоту можливо вказати як
, де
відповідає значенню
з найбільшим допустимим відхиленням від
. За допомогою
користувач встановлює, наскільки сильним є вплив еталонного параметру по відношенню до перехресного затверджування.
Можливо додавати члени відносної простоти для декількох конфігурації , вказавши функцію втрат як
Гурнвеґ (2018) показує, що функцію втрат з таким компромісом точності—простоти також можливо використовувати, щоби інтуїтивно визначати [en] на кшталт (адаптивного) LASSO та баєсової / хребтової регресії. Див. приклад у [en].
Статистичні властивості
Припустімо, що ми обираємо міру допасованості F, й використовуємо перехресне затверджування, щоби виробити оцінку F* математичного сподівання допасованості (англ. expected fit) EF моделі до незалежного набору даних, вибраного з тієї ж генеральної сукупності, що й тренувальні дані. Якщо ми уявимо вибирання декількох незалежних тренувальних наборів, що слідують одному й тому ж розподілові, то значення результату F* будуть мінливими. Статистичні властивості F* випливають із цієї мінливості.
Дисперсія F* може бути великою. З цієї причини, якщо дві статистичні процедури порівнюють на основі перехресного затверджування, процедура з кращою оцінюваною продуктивність може насправді не бути кращою з цих двох (тобто, вона може не мати кращого значення EF). Було досягнуто певного прогресу в побудові довірчих проміжків навколо оцінок перехресного затверджування, але це вважають складною проблемою.
Обчислювальні питання
Більшість форм перехресного затверджування прямолінійні для втілення, доки доступне втілення досліджуваного методу передбачування. Зокрема, метод передбачування може бути «чорною скринькою», — немає потреби мати доступ до нутрощів його втілення. Якщо метод передбачування витратний для тренування, то перехресне затверджування може бути повільним, оскільки тренування мусить здійснюватися багаторазово. В деяких випадках, таких як найменші квадрати та [en], перехресне затверджування можливо значно прискорити, обчислюючи попередньо деякі значення, потрібні в тренуванні багаторазово, або використовуючи швидкі «правила уточнення», такі як [en]. Проте, слід бути обережними, щоби зберегти «повне засліплення» затверджувального набору від тренувальної процедури, бо інакше може виникнути зміщення. Крайній випадок прискорення перехресного затверджування трапляється в лінійній регресії, де результати перехресного затверджування є виразом замкненого вигляду, відомим як сума квадратів похибок передбачуваних залишків (англ. prediction residual error sum of squares, [en]).
Обмеження та неправильне використання
Перехресне затверджування видає змістовні результати лише якщо затверджувальний та тренувальний набори вибирають з однієї й тієї ж генеральної сукупності, й лише якщо людське упередження перебуває під контролем.
В багатьох застосуваннях передбачувального моделювання структура досліджуваної системи еволюціює з часом (тобто, є «нестаціонарною»). І те, й друге може привносити систематичні відмінності між тренувальним та затверджувальним наборами. Наприклад, якщо модель для [en] тренують на даних за певний п'ятирічний період, то буде нереалістичним розглядати наступний п'ятирічний період як вибраний з тієї ж генеральної сукупності. Як інший приклад, розгляньмо модель, що розробляють для передбачування ризику особи отримати діагноз певної хвороби протягом наступного року. Якщо модель тренують, використовуючи дані дослідження, що охоплює лише специфічну групу населення (наприклад, молодих людей, або чоловіків), але потім застосовують до населення в цілому, то результати перехресного затверджування з тренувального набору можуть відрізнятися від дійсної передбачувальної продуктивності дуже сильно.
В багатьох застосуваннях також може бути неправильно вказано моделі, або вони можуть змінюватися залежно від упередженості моделювальника та/або випадкового вибору. Коли таке трапляється, може виникати ілюзія, що система змінюється в зовнішніх вибірках, тоді як причина полягає в тому, що модель пропустила критичний передбачувач, та/або включила передбачувач, збитий з пантелику. Нові дані свідчать, що перехресне затверджування саме по собі є не дуже передбачувальним для зовнішньої застосовності, тоді як один з видів експериментального затверджування, відомий як обмінне вибирання (англ. swap sampling), що контролює людське упередження, може мати щодо неї значно кращу передбачувальну здатність. Як визначено цим великим дослідженням MAQC-II для 30 000 моделей, обмінне вибирання містить в собі перехресне затверджування в тому сенсі, що передбачування випробовують на незалежних тренувальній та затверджувальній вибірках. До того ж, моделі також і розробляють на цих незалежних вибірках, і моделювальниками, що не знають одні про одних. Коли між цими моделями, розробленими на цих обмінюваних тренувальному та затверджувальному наборах, є невідповідність, що трапляється доволі часто, MAQC-II показує, що це значно краще передбачуватиме погану зовнішню продуктивність, ніж традиційне перехресне затверджування.
Причиною успішності обмінного вибирання є вбудований контроль людських упереджень в побудові моделей. На додачу до занадто великої віри у передбачування, яка може варіюватися між моделювальниками, і вести до поганої зовнішньої застосовності через ці сплутані впливи моделювальників, ось іще деякі неправильні способи використання перехресного затверджування:
- Виконання початкового аналізу для встановлювання найінформативніших ознак із застосуванням всього набору даних, якщо обирання ознак або налаштування моделі вимагає процедура моделювання: це мусить бути повторювано на кожному тренувальному наборі. Інакше передбачування безумовно будуть зміщені вгору. Якщо для вирішування, яку ознаку використовувати, застосовувати перехресне затверджування, то для виконання обирання ознак на кожному тренувальному наборі мусить виконуватися внутрішнє перехресне затверджування (англ. inner cross-validation).
- Виконання центрування за середнім значенням, перемасштабування, зниження розмірності, усунення викидів або будь-якої іншої попередньої обробки даних, залежної від них, за допомогою всього набору даних. Хоч це й дуже поширено на практиці, було показано, що це привносить зміщення в оцінки перехресного затверджування.
- Дозволяння деяким з тренувальних даних входити й до випробувального набору: це може ставатися через «двійникування» (англ. "twinning") в наборі даних, за якого в ньому міститься якась кількість повністю або майже ідентичних зразків. Двійникування до деякої міри завжди має місце навіть в ідеально незалежних тренувальних та затверджувальних вибірках. Це відбувається через те, що деякі зі спостережень тренувальної вибірки матимуть значення передбачувальних змінних, майже ідентичні до спостережень затверджувальної вибірки. І деякі з них корелюватимуть з ціллю на рівні, кращому за випадковий, в одному й тому ж напрямку як у тренуванні, так і в затверджуванні, будучи насправді керованими збуреними передбачувачами з поганою зовнішньою застосовністю. Якщо таку перехресно затверджену модель буде обрано з k-кратного набору, то спрацює людське підтверджувальне упередження, визначивши цю модель затвердженою. Ось чому традиційне перехресне затверджування потребує доповнення контролем людського упередження та збитого з пантелику визначення моделі, такого як обмінне вибирання, та перспективне дослідження.
Перехресне затверджування для моделей часових рядів
Через важливість порядку даних, для моделей часових рядів перехресне затверджування[] може бути проблематичним. Доречнішим підходом може бути застосування ковзного перехресного затверджування (англ. rolling cross-validation).
Проте, якщо продуктивність описано єдиною зведеною статистикою, то, можливо, працюватиме підхід, описаний Політісом та Романо як [en]. Статистиці натяжки потрібно приймати проміжок часового ряду й повертати зведену статистику на ньому. Виклик стаціонарної натяжки потребує вказування доречної середньої довжини проміжку.
Застосування
Перехресне затверджування можливо використовувати для порівнювання продуктивності різних процедур передбачувального моделювання. Наприклад, припустімо, що нас цікавить оптичне розпізнавання символів, і для розпізнавання справжнього символу з зображення рукописного символу ми розглядаємо використання або опорновекторної машини (ОВМ), або k-найближчих сусідів (kНС). Застосувавши перехресне затверджування, ми можемо отримати емпіричні оцінки, що порівнюють ці два методи в термінах їхніх відповідних часток неправильно класифікованих символів. І навпаки, внутрішньовибіркова оцінка не надаватиме потрібної величини (тобто, похибки узагальнювання).
Перехресне затверджування також можливо застосовувати в обиранні змінних. Припустімо, що ми використовуємо рівні експресії 20 білків, щоби передбачувати, чи відреагує пацієнт з раком на певні ліки. Однією з практичних цілей буде визначити, яку підмножину з 20 ознак слід використовувати для вироблення найкращої передбачувальної моделі. Для більшості процедур моделювання, якщо ми порівнюємо підмножини ознак, використовуючи внутрішньовибіркові рівні похибки, найкраща продуктивність досягатиметься при використанні всіх 20 ознак. Проте за перехресного затверджування модель із найкращою допасованістю в загальному випадку включатиме лише підмножину ознак, які вважаються справді інформативними.
Нещодавнім розширенням медичної статистики стало її застосування в метааналізі. Вона формує основу статистики обґрунтованості (англ. validation statistic), Vn, яку використовують, щоби випробовувати статистичну обґрунтованість підсумкових оцінок метааналізу. Її також використовували в метааналізі у звичнішому сенсі, для оцінювання правдоподібної похибки передбачування результатів метааналізу.
Див. також
Вікісховище має мультимедійні дані за темою: Перехресне затверджування |
Зауваження та примітки
- Piryonesi S. Madeh; El-Diraby Tamer E. (1 березня 2020). Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index. Journal of Infrastructure Systems (англ.). 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. S2CID 213782055.
- Allen, David M (1974). The Relationship between Variable Selection and Data Agumentation and a Method for Prediction. Technometrics (англ.). 16 (1): 125—127. doi:10.2307/1267500. JSTOR 1267500.
- Stone, M (1974). Cross-Validatory Choice and Assessment of Statistical Predictions. Journal of the Royal Statistical Society, Series B (Methodological) (англ.). 36 (2): 111—147. doi:10.1111/j.2517-6161.1974.tb00994.x. S2CID 62698647.
- Stone, M (1977). An Asymptotic Equivalence of Choice of Model by Cross-Validation and Akaike's Criterion. Journal of the Royal Statistical Society, Series B (Methodological) (англ.). 39 (1): 44—47. doi:10.1111/j.2517-6161.1977.tb01603.x. JSTOR 2984877.
- Geisser, Seymour (1993). Predictive Inference (англ.). New York, NY: Chapman and Hall. ISBN .
- Kohavi, Ron (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence (англ.). San Mateo, CA: Morgan Kaufmann. 2 (12): 1137—1143. CiteSeerX 10.1.1.48.529.
- Devijver, Pierre A.; Kittler, Josef (1982). Pattern Recognition: A Statistical Approach (англ.). London, GB: Prentice-Hall. ISBN .
- Galkin, Alexander (28 листопада 2011). What is the difference between test set and validation set? (англ.). Процитовано 10 жовтня 2018.
- (англ.). Архів оригіналу за 14 березня 2015. Процитовано 14 листопада 2013.
{{}}
: Обслуговування CS1: bot: Сторінки з посиланнями на джерела, де статус оригінального URL невідомий () - Cawley, Gavin C.; Talbot, Nicola L. C. (2010). On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation (PDF). Journal of Machine Learning Research (англ.). 11: 2079—2107.
- Grossman, Robert; Seni, Giovanni; Elder, John; Agarwal, Nitin; Liu, Huan (2010). Ensemble Methods in Data Mining: Improving Accuracy Through Combining Predictions. Synthesis Lectures on Data Mining and Knowledge Discovery (англ.). Morgan & Claypool. 2: 1—126. doi:10.2200/S00240ED1V01Y200912DMK002.
- Trippa, Lorenzo; Waldron, Levi; Huttenhower, Curtis; Parmigiani, Giovanni (March 2015). Bayesian nonparametric cross-study validation of prediction methods. The Annals of Applied Statistics (англ.). 9 (1): 402—428. arXiv:1506.00474. Bibcode:2015arXiv150600474T. doi:10.1214/14-AOAS798. ISSN 1932-6157. S2CID 51943497.
- Celisse, Alain (1 жовтня 2014). Optimal cross-validation in density estimation with the $L^{2}$-loss. The Annals of Statistics (англ.). 42 (5): 1879—1910. arXiv:0811.0802. doi:10.1214/14-AOS1240. ISSN 0090-5364. S2CID 17833620.
- Airola, A.; Pahikkala, T.; Waegeman, W.; De Baets, Bernard; Salakoski, T. (1 квітня 2011). An experimental comparison of cross-validation techniques for estimating the area under the ROC curve. Computational Statistics & Data Analysis (англ.). 55 (4): 1828—1844. doi:10.1016/j.csda.2010.11.018.
- Molinaro, A. M.; Simon, R.; Pfeiffer, R. M. (1 серпня 2005). Prediction error estimation: a comparison of resampling methods. Bioinformatics (англ.). 21 (15): 3301—3307. doi:10.1093/bioinformatics/bti499. ISSN 1367-4803. PMID 15905277.
- fold // Англійсько-українсько-англійський словник наукової мови (фізика та споріднені науки). Частина І англійсько-українська / уклад. О. Кочерга, Є. Мейнарович. — 2010.
- McLachlan, Geoffrey J.; ; Ambroise, Christophe (2004). Analyzing microarray gene expression data (англ.). Wiley.
- Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition. web.stanford.edu (англ.). Процитовано 4 квітня 2019.
- Vanwinckelen, Gitte (2 жовтня 2019). On Estimating Model Accuracy with Repeated Cross-Validation (англ.). с. 39—44. ISBN .
- Soper, Daniel S. (2021). Greed Is Good: Rapid Hyperparameter Optimization and Model Selection Using Greedy k-Fold Cross Validation (PDF). Electronics (англ.). 10 (16): 1973. doi:10.3390/electronics10161973.
- Cross Validation (англ.). Процитовано 11 листопада 2012.
- Arlot, Sylvain; Celisse, Alain (2010). A survey of cross-validation procedures for model selection. Statistics Surveys (англ.). 4: 40—79. arXiv:0907.4728. doi:10.1214/09-SS054. S2CID 14332192.
In brief, CV consists in averaging several hold-out estimators of the risk corresponding to different data splits.
- Dubitzky, Werner; Granzow, Martin; Berrar, Daniel (2007). Fundamentals of data mining in genomics and proteomics (англ.). Springer Science & Business Media. с. 178.
- Kuhn, Max; Johnson, Kjell (2013). Applied Predictive Modeling (англ.). New York, NY: Springer New York. doi:10.1007/978-1-4614-6849-3. ISBN .
- Cantzler, H. (англ.). Institute for Perception, Action and Behaviour, Division of Informatics, University of Edinburgh. Архів оригіналу за 4 лютого 2023.
- Hoornweg, Victor (2018). Science: Under Submission (англ.). Hoornweg Press. ISBN .
- Efron, Bradley; Tibshirani, Robert (1997). Improvements on cross-validation: The .632 + Bootstrap Method. [en] (англ.). 92 (438): 548—560. doi:10.2307/2965703. JSTOR 2965703. MR 1467848.
- Stone, Mervyn (1977). Asymptotics for and against cross-validation. [en] (англ.). 64 (1): 29—35. doi:10.1093/biomet/64.1.29. JSTOR 2335766. MR 0474601.
- Consortium, MAQC (2010). The Microarray Quality Control (MAQC)-II study of common practices for the development and validation of microarray-based predictive models. Nature Biotechnology (англ.). London: Nature Publishing Group. 28 (8): 827—838. doi:10.1038/nbt.1665. PMC 3315840. PMID 20676074.
- Bermingham, Mairead L.; Pong-Wong, Ricardo; Spiliopoulou, Athina; Hayward, Caroline; Rudan, Igor; Campbell, Harry; Wright, Alan F.; Wilson, James F.; Agakov, Felix; Navarro, Pau; Haley, Chris S. (2015). Application of high-dimensional feature selection: evaluation for genomic prediction in man. Sci. Rep. (англ.). 5: 10312. Bibcode:2015NatSR...510312B. doi:10.1038/srep10312. PMC 4437376. PMID 25988841.
- Varma, Sudhir; Simon, Richard (2006). Bias in error estimation when using cross-validation for model selection. BMC Bioinformatics (англ.). 7: 91. doi:10.1186/1471-2105-7-91. PMC 1397873. PMID 16504092.
- Moscovich, Amit; Rosset, Saharon (1 вересня 2022). On the Cross-Validation Bias due to Unsupervised Preprocessing. Journal of the Royal Statistical Society Series B: Statistical Methodology (англ.). 84 (4): 1474—1502. arXiv:1901.08974. doi:10.1111/rssb.12537. S2CID 215745385.
- Bergmeir, Christopher; Benitez, Jose (2012). On the use of cross-validation for time series predictor evaluation. Information Sciences (англ.). 191: 192—213. doi:10.1016/j.ins.2011.12.028 — через Elsevier Science Direct.
- Politis, Dimitris N.; Romano, Joseph P. (1994). The Stationary Bootstrap. Journal of the American Statistical Association (англ.). 89 (428): 1303—1313. doi:10.1080/01621459.1994.10476870. hdl:10983/25607.
- Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome H. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (англ.). Springer. ISBN .
- Picard, Richard; Cook, Dennis (1984). Cross-Validation of Regression Models. Journal of the American Statistical Association (англ.). 79 (387): 575—583. doi:10.2307/2288403. JSTOR 2288403.
- Willis BH, Riley RD (2017). Measuring the statistical validity of summary meta-analysis and meta-regression results for use in clinical practice. Statistics in Medicine (англ.). 36 (21): 3283—3301. doi:10.1002/sim.7372. PMC 5575530. PMID 28620945.
- Riley RD, Ahmed I, Debray TP, Willis BH, Noordzij P, Higgins JP, Deeks JJ (2015). Summarising and validating test accuracy results across multiple studies for use in clinical practice. Statistics in Medicine (англ.). 34 (13): 2081—2103. doi:10.1002/sim.6471. PMC 4973708. PMID 25800943.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Cya stattya potrebuye dodatkovih posilan na dzherela dlya polipshennya yiyi perevirnosti Bud laska dopomozhit udoskonaliti cyu stattyu dodavshi posilannya na nadijni avtoritetni dzherela Zvernitsya na storinku obgovorennya za poyasnennyami ta dopomozhit vipraviti nedoliki Material bez dzherel mozhe buti piddano sumnivu ta vilucheno cherven 2020 Perehre sne zatve rdzhuvannya angl cross validation inodi zvane rotaci jnim oci nyuvannyam angl rotation estimation abo pozavi birkovim vipro buvannyam angl out of sample testing ce bud yaka z podibnih metodik zatverdzhuvannya modeli dlya ocinyuvannya togo naskilki rezultati statistichnogo analizu uzagalnyuvatimutsya na nezalezhnij nabir danih Perehresne zatverdzhuvannya vklyuchaye metodi en j rozdilennya vibirki yaki na riznih iteraciyah vikoristovuyut rizni chastini danih dlya viprobuvannya j trenuvannya modeli Jogo chasto vikoristovuyut v postanovkah de metoyu ye peredbachuvannya j potribno ociniti te naskilki tochno peredbachuvalna model pracyuvatime na praktici Takozh jogo mozhlivo vikoristovuvati dlya ocinyuvannya yakosti dopasovanoyi modeli j stabilnosti yiyi parametriv Porivnyannya tochnosti perehresnogo zatverdzhuvannya ta vidsotka hibno negativnih zavishennya ocinki p yati modelej klasifikaciyi Rozmir bulbashok podaye standartne vidhilennya tochnosti perehresnogo zatverdzhuvannya desyatikratnogo Shema k kratnogo perehresnogo zatverdzhuvannya V zadachi peredbachuvannya zazvichaj modeli dayut nabir vidomih danih na yakih vikonuyut trenuvannya trenuvalnij nabir danih ta nabir nevidomih danih abo vpershe bachenih danih na yakih model viprobovuyut zvanij zatverdzhuvalnim abo viprobuvalnim naborom danih Metoyu perehresnogo zatverdzhuvannya ye viprobuvati zdatnist modeli peredbachuvati novi dani yaki ne vikoristovuvali pri yiyi viznachenni shobi prosignalizuvati pro taki problemi yak perenavchannya ta vi birkove uperedzhennya i shobi dati uyavlennya pro te yak cya model uzagalnyuvatimetsya na nezalezhnij nabir danih tobto nevidomij nabir danih napriklad z realnoyi zadachi Odin raund perehresnogo zatverdzhuvannya mistit rozbivannya vibirki danih na vzayemodopovnyuvalni pidnabori vikonannya analizu na odnomu z pidnaboriv zvanomu trenuvalnim naborom ta zatverdzhuvannya rezultativ na inshomu pidnabori zvanomu zatverdzhuvalnim abo viprobuvalnim naborom Z metoyu znizhennya minlivosti v bilshosti metodiv vikonuyut dekilka raundiv perehresnogo zatverdzhuvannya z vikoristannyam riznih rozbittiv i shobi dati ocinku peredbachuvalnoyi produktivnosti modeli rezultati zatverdzhuvannya poyednuyut napriklad userednyuyut nad raundami Korotko perehresne zatverdzhuvannya poyednuye userednyuye miri dopasovanosti v peredbachuvanni shobi vivesti tochnishu ocinku peredbachuvalnoyi produktivnosti modeli ObgruntuvannyaRozglyanmo model z odnim chi bilshe nevidomimi parametrami ta nabir danih do yakogo cyu model mozhlivo dopasuvati trenuvalnij nabir danih Proces dopasovuvannya optimizuye ci parametri modeli shobi zrobiti model yaknajkrashe dopasovanoyu do cih trenuvalnih danih Yaksho nezalezhnu vibirku zatverdzhuvalnih danih vzyati iz tiyeyi zh sukupnosti sho j trenuvalni dani to yak pravilo viyavitsya sho cya model ne dopasovuyetsya do zatverdzhuvalnih danih tak zhe dobre yak vona dopasovuyetsya do danih trenuvalnih Rozmir ciyeyi riznici mozhe buti velikim osoblivo koli rozmir trenuvalnogo naboru danih ye malim abo koli chislo parametriv modeli ye velikim Perehresne zatverdzhuvannya ye odnim zi sposobiv ociniti rozmir cogo efektu Priklad linijna regresiya V linijnij regresiyi isnuyut dijsni znachennya vidguku y 1 y n textstyle y 1 ldots y n ta n p vimirnih vektornih kovariat x1 xn Komponenti vektora xi poznachuyut cherez xi1 xip Yaksho vikoristovuyut najmenshi kvadrati shobi dopasuvati funkciyu v viglyadi giperploshini ŷ a bTx do danih xi yi 1 i n to dopasovanist mozhlivo ocinyuvati zastosovuyuchi serednokvadratichnu pohibku SKP angl mean squared error MSE SKP dlya zadanih ocinyuvanih znachen parametriv a ta b na trenuvalnomu nabori xi yi 1 i n viznacheno yak MSE 1 n i 1 n y i y i 2 1 n i 1 n y i a b T x i 2 1 n i 1 n y i a b 1 x i 1 b p x i p 2 displaystyle begin aligned text MSE amp frac 1 n sum i 1 n y i hat y i 2 frac 1 n sum i 1 n y i a boldsymbol beta T mathbf x i 2 amp frac 1 n sum i 1 n y i a beta 1 x i1 dots beta p x ip 2 end aligned Yaksho model vkazano pravilno to za m yakih pripushen mozhe buti pokazano sho matematichne spodivannya SKP dlya trenuvalnogo naboru stanovit n p 1 n p 1 lt 1 na matematichne spodivannya SKP dlya zatverdzhuvalnogo naboru vidsutnye v dzhereli matematichne spodivannya beretsya nad rozpodilom trenuvalnih naboriv Takim chinom dopasovana model j obchislena SKP na trenuvalnomu nabori davatimut v rezultati optimistichno uperedzhenu ocinku togo naskilki dobre cya model dopasovuvatimetsya na nezalezhnomu nabori danih Cyu uperedzhenu ocinku nazivayut vnutrishnovibirkovoyu angl in sample ocinkoyu dopasovanosti todi yak ocinku perehresnogo zatverdzhuvannya nazivayut pozavibirkovoyu angl out of sample ocinkoyu Oskilki v linijnij regresiyi mozhlivo bezposeredno obchislyuvati koeficiyent n p 1 n p 1 na yakij trenuvalna SKP nedoocinyuye zatverdzhuvalnu SKP za pripushennya sho model vkazano pravilno to perehresne zatverdzhuvannya mozhlivo zastosovuvati shobi pereviryati chi ne bulo model perenavcheno v razi chogo SKP u zatverdzhuvalnomu nabori znachno perevishuvatime yiyi ochikuvane znachennya Perehresne zatverdzhuvannya v konteksti linijnoyi regresiyi takozh korisne tim sho jogo mozhlivo vikoristovuvati shobi obirati optimalno regulyarizovanu funkciyu vitrat Zagalnij vipadok V bilshosti inshih regresijnih procedur napriklad u logistichnij regresiyi prostoyi formuli dlya obchislennya ochikuvanoyi pozavibirkovoyi dopasovanosti ne isnuye Perehresne zatverdzhuvannya vidtak ye zagalno zastosovnim sposobom peredbachuvati produktivnist modeli na nedostupnih danih iz zastosuvannyam chiselnih obchislen zamist teoretichnogo analizu TipiMozhlivo virizniti dva tipi perehresnogo zatverdzhuvannya vicherpne angl exhaustive ta nevicherpne angl non exhaustive Vicherpne perehresne zatverdzhuvannya Vicherpni metodi perehresnogo zatverdzhuvannya ce taki metodi perehresnogo zatverdzhuvannya yaki navchayutsya ta viprobovuyutsya na vsih mozhlivih sposobah podilu pervinnoyi vibirki na trenuvalnij ta zatverdzhuvalnij nabori Perehresne zatverdzhuvannya z viklyuchennyam po p Perehresne zatverdzhuvannya z viklyuchennyam po p PZ VPp angl leave p out cross validation LpO CV peredbachaye vikoristannya p sposterezhen yak zatverdzhuvalnogo naboru j reshti sposterezhen yak naboru trenuvalnogo Ce povtoryuyut vsima sposobami rozrizuvannya pervinnoyi vibirki na zatverdzhuvalnij nabir iz p sposterezhen ta trenuvalnij nabir Perehresne zatverdzhuvannya VPp vimagaye trenuvannya ta zatverdzhuvannya modeli C p n displaystyle C p n raziv de n chislo sposterezhen u pervinnij vibirci j de C p n displaystyle C p n binomialnij koeficiyent Dlya p gt 1 j dlya navit pomirno velikogo n PZ VPp mozhe stati obchislyuvalno nezdijsnennim Napriklad za n 100 ta p 30 C 30 100 3 10 25 displaystyle C 30 100 approx 3 times 10 25 Variant perehresnogo zatverdzhuvannya VPp iz p 2 vidomij yak perehresne zatverdzhuvannya z viklyuchennyam parami bulo rekomendovano yak majzhe neuperedzhenij metod ocinyuvannya ploshi pid krivoyu RHP binarnih klasifikatoriv Perehresne zatverdzhuvannya z viklyuchennyam po odnomu Ilyustraciya perehresnogo zatverdzhuvannya z viklyuchennyam po odnomu PZVPO koli n 8 sposterezhen Zagalom bude natrenovano ta viprobuvano 8 modelej Perehresne zatverdzhuvannya z viklyuchennyam po odnomu PZVPO angl leave one out cross validation LOOCV ce okremij vipadok perehresnogo zatverdzhuvannya z viklyuchennyam po p iz p 1 Cej proces viglyadaye podibnim do skladanogo nozha prote pri perehresnomu zatverdzhuvanni obchislyuyut statistiku na viklyuchenih zrazkah todi yak pri skladanonozhuvanni obchislyuyut statistiku lishe dlya zalishenih zrazkiv Perehresne zatverdzhuvannya VPO vimagaye menshogo obchislyuvalnogo chasu nizh VPp oskilki maye lishe C 1 n n displaystyle C 1 n n prohodiv zamist C p n displaystyle C p n Prote n displaystyle n prohodiv vse odno mozhut vimagati velmi velikogo obchislyuvalnogo chasu v razi chogo dorechnishimi mozhut buti inshi pidhodi taki yak k kratne perehresne zatverdzhuvannya Psevdokodovij algoritm Vhid x vektor dovzhini N zi znachennyami x tochok vhodu y vektor dovzhini N zi znachennyami y ochikuvanogo rezultatu interpolate x in y in x out povertaye ocinku dlya tochki x out pislya togo yak model bulo natrenovano na parah x in y in Vihid err ocinka pohibki peredbachuvannya Kroki err 0 for i 1 N do viznachiti pidnabori perehresnogo zatverdzhuvannya x in x 1 x i 1 x i 1 x N y in y 1 y i 1 y i 1 y N x out x i y out interpolate x in y in x out err err y i y out 2 end for err err N Nevicherpne perehresne zatverdzhuvannya Nevicherpni metodi perehresnogo zatverdzhuvannya ne obchislyuyut vsi sposobi podilu pervinnoyi vibirki Ci metodi ye nablizhennyam perehresnogo zatverdzhuvannya z viklyuchennyam po p k kratne perehresne zatverdzhuvannya Ilyustraciya k kratnogo perehresnogo zatverdzhuvannya koli n 12 sposterezhen a k 3 Pislya peretasovuvannya danih zagalom bude natrenovano j viprobuvano 3 modeli V k kratnim perehresnim zatverdzhuvanni angl k fold cross validation pervinnu vibirku vipadkovo rozbivayut na k pidvibirok odnakovogo rozmiru chasto zvanih skladnikami angl folds Z cih k pidvibirok odnu pidvibirku pritrimuyut yak zatverdzhuvalni dani dlya viprobuvannya modeli a reshtu k 1 vibirok vikoristovuyut yak trenuvalni dani Potim proces perehresnogo zatverdzhuvannya povtoryuyut k raziv vikoristovuyuchi kozhnu z k pidvibirok yak zatverdzhuvalni dani rivno odin raz Vidtak ci k rezultativ mozhlivo useredniti shob otrimati yedinu ocinku Perevagoyu cogo metodu pered povtoryuvanim vipadkovim vzyattyam pidvibirok div nizhche ye te sho yak dlya trenuvannya tak i dlya zatverdzhuvannya vikoristovuyut vsi sposterezhennya j kozhne sposterezhennya vikoristovuyut dlya zatverdzhuvannya rivno odin raz Zazvichaj vikoristovuyut 10 kratne zatverdzhuvannya ale zagalom k zalishayetsya vilnim parametrom Napriklad vstanovlennya k 2 prizvodit do 2 kratnogo perehresnogo zatverdzhuvannya U 2 kratnim perehresnim zatverdzhuvanni mi vipadkovo rozkida yemo nabir danih na dva nabori d0 ta d1 takim chinom sho obidva mayut odnakovi rozmiri ce zazvichaj vtilyuyut cherez peretasovuvannya masivu danih ta podil jogo navpil Potim mi trenuyemo na d0 j zatverdzhuyemo na d1 pislya chogo trenuyemo na d1 j zatverdzhuyemo na d0 Koli k n chislu sposterezhen k kratne perehresne zatverdzhuvannya rivnoznachne perehresnomu zatverdzhuvannyu z viklyuchennyam po odnomu V stratifikovanim angl stratified k kratnim perehresnim zatverdzhuvanni chastini obirayut takim chinom shobi serednye znachennya vidguku bulo priblizno rivnim v usih chastinah U vipadku binarnoyi klasifikaciyi ce oznachaye sho kozhna chastina mistit priblizno odnakovu proporciyu dvoh tipiv mitok klasu U povtoryuvanim angl repeated perehresnim zatverdzhuvanni dani vipadkovo dilyat na k chastin dekilka raziv Produktivnist modeli vidtak mozhlivo useredniti nad dekilkoma prohodami ale na praktici ce nechasto ye bazhanim Koli rozglyadayut bagato riznih statistichnih modelej abo modelej mashinnogo navchannya zhadibne angl greedy k kratne perehresne zatverdzhuvannya mozhut vikoristovuvati dlya shvidkogo vstanovlyuvannya najperspektivnishih modelej kandidatok Metod pritrimuvannya V metodi pritrimuvannya angl holdout method mi vipadkovo priznachuyemo tochki danih dvom naborami d0 ta d1 zazvichaj zvanim trenuvalnim ta viprobuvalnim naborami vidpovidno Rozmir kozhnogo z naboriv dovilnij hocha zazvichaj viprobuvalnij nabir menshij za trenuvalnij Potim mi trenuyemo buduyemo model na d0 ta viprobuyemo ocinyuyemo yiyi produktivnist na d1 V tipovim perehresnim zatverdzhuvanni userednyuyut rezultati dekilkoh probigan modelyuvannya viprobuvannya Na protivagu comu metod pritrimuvannya naodshibi mistit lishe odne probigannya Jogo slid zastosovuvati oberezhno oskilki bez takogo userednyuvannya dekilkoh probigan mozhna dosyagti duzhe omanlivih rezultativ Pokaznik peredbachuvalnoyi tochnosti F matime shilnist buti nestijkim oskilki jogo ne bude zgladzheno dekilkoma iteraciyami div nizhche Analogichno shilnist buti nestijkimi matimut pokazniki konkretnoyi roli yaku vidigrayu t ti chi inshi peredbachuvalni zminni napriklad znachennya regresijnih koeficiyentiv I hocha metod pritrimuvannya mozhe buti oharakterizovano yak najprostishij tip perehresnogo zatverdzhuvannya bagato dzherel natomist klasifikuyut pritrimuvannya yak odin z tipiv prostogo zatverdzhuvannya a ne yak prostu abo virodzhenu formu zatverdzhuvannya perehresnogo Povtoryuvane vipadkove pidvibirkove zatverdzhuvannya Cej metod angl repeated random sub sampling validation vidomij takozh yak perehresne zatverdzhuvannya Monte Karlo stvoryuye dekilka vipadkovih podiliv naboru danih na trenuvalni ta zatverdzhuvalni dani Dlya kozhnogo takogo podilu model dopasovuyut do trenuvalnih danih j ocinyuyut yiyi peredbachuvalnu tochnist zastosovuyuchi zatverdzhuvalni dani Rezultati vidtak userednyuyut nad cimi podilami Perevagoyu cogo metodu pered k kratnim perehresnim zatverdzhuvannyam ye te sho proporciya trenuvalnogo zatverdzhuvalnogo podilu ne zalezhit vid chisla iteracij tobto chisla rozbittiv Nedolikom cogo metodu ye te sho deyaki sposterezhennya mozhe nikoli ne buti obrano do zatverdzhuvalnoyi pidvibirki todi yak inshi mozhe buti obrano ponad odin raz Inshimi slovami zatverdzhuvalni pidnabori mozhut perekrivatisya Cej metod takozh zaznaye minlivosti Monte Karlo sho oznachaye sho rezultati variyuvatimutsya yaksho analiz povtoryuvatimut z vidminnimi vipadkovimi podilami Z nablizhennyam chisla vipadkovih podiliv do neskinchennosti rezultat povtoryuvanogo vipadkovogo pidvibirkovogo zatverdzhuvannya maye shilnist pryamuvati do rezultatu perehresnogo zatverdzhuvannya z viklyuchennyam po p U stratifikovanim varianti cogo pidhodu vipadkovi vibirki porodzhuyut takim chinom shobi serednye znachennya vidguku tobto zalezhnoyi zminnoyi v regresiyi bulo rivnim u trenuvalnomu j viprobuvalnomu naborah Ce osoblivo korisno yaksho vidguki dihotomni z nezbalansovanim predstavlennyam dvoh znachen vidguku v danih Odnim z metodiv sho zastosovuyut povtoryuvanu vipadkovu pidvibirku ye RANSAC Vkladene perehresne zatverdzhuvannyaKoli perehresne zatverdzhuvannya vikoristovuyut odnochasno dlya obirannya najkrashogo naboru giperparametriv ta dlya ocinyuvannya pohibki j zdatnosti do uzagalnyuvannya neobhidne vkladene perehresne zatverdzhuvannya angl nested cross validation Variantiv isnuye bagato Mozhlivo vidiliti shonajmenshe dva k l kratne perehresne zatverdzhuvannya Ce ye istinno vkladenim variantom sho mistit zovnishnij cikl z k naboriv ta vnutrishnij cikl z l naboriv Zagalnij nabir danih dilyat na k naboriv Odin po odnomu obirayut nabir yak zovnishnij viprobuvalnij nabir a reshtu k 1 naboriv poyednuyut u vidpovidnij zovnishnij trenuvalnij nabir Ce povtoryuyut dlya kozhnogo z k naboriv Kozhen zovnishnij trenuvalnij nabir dilyat dali na l naboriv Odin po odnomu obirayut nabir yak vnutrishnij viprobuvalnij zatverdzhuvalnij nabir a reshtu l 1 naboriv poyednuyut u vidpovidnij vnutrishnij trenuvalnij nabir Ce povtoryuyut dlya kozhnogo z l naboriv Vnutrishni trenuvalni nabori vikoristovuyut dlya dopasovuvannya parametriv modeli todi yak zovnishnij viprobuvalnij nabir vikoristovuyut yak zatverdzhuvalnij nabir shobi zabezpechiti neuperedzhenu ocinku dopasovanosti modeli Zazvichaj ce povtoryuyut dlya bagatoh riznih giperparametriv abo navit riznih tipiv modelej i zatverdzhuvalnij nabir vikoristovuyut dlya viznachennya najkrashogo naboru giperparametriv ta tipu modeli dlya cogo vnutrishnogo trenuvalnogo naboru Pislya cogo novu model dopasovuyut do vsogo zovnishnogo trenuvalnogo naboru vikoristovuyuchi najkrashij nabir giperparametriv z vnutrishnogo perehresnogo zatverdzhuvannya Produktivnist ciyeyi modeli potim ocinyuyut vikoristovuyuchi zovnishnij viprobuvalnij nabir k kratne perehresne zatverdzhuvannya iz zatverdzhuvalnim ta viprobuvalnim naborami Vono ye odnim z tipiv k l kratnogo perehresnogo zatverdzhuvannya v yakomu l k 1 Odne k kratne perehresne zatverdzhuvannya vikoristovuyut yak iz zatverdzhuvalnim tak i z viprobuvalnim naborom Zagalnij nabir danih dilyat na k naboriv Odin po odnomu nabir obirayut yak viprobuvalnij Potim odin po odnomu odin z naboriv sho lishilisya vikoristovuyut yak zatverdzhuvalnij nabir a reshtu k 2 naboriv vikoristovuyut yak trenuvalni poki ne bude ocineno vsi mozhlivi kombinaciyi Podibno do k l kratnogo perehresnogo zatverdzhuvannya trenuvalnij nabir vikoristovuyut dlya dopasovuvannya modeli a zatverdzhuvalnij nabir vikoristovuyut dlya ocinki modeli dlya kozhnogo z naboriv giperparametriv Nareshti dlya obranogo naboru parametriv vikoristovuyut viprobuvalnij nabir shobi ociniti model iz najkrashim naborom parametriv Tut mozhlivi dva varianti abo ocinyuvannya modeli sho bulo natrenovano na trenuvalnomu nabori abo ocinyuvannya novoyi modeli sho bulo dopasovano do poyednannya trenuvalnogo j zatverdzhuvalnogo naboriv Miri dopasovanostiMeta perehresnogo zatverdzhuvannya ociniti ochikuvanij riven dopasovanosti modeli do naboru danih nezalezhnih vid tih yaki bulo vikoristano dlya trenuvannya modeli Jogo mozhlivo vikoristovuvati dlya ocinyuvannya kilkisnoyi miri dopasovanosti vlastivoyi cim danim ta modeli Napriklad dlya zadach binarnoyi klasifikaciyi kozhen vipadok u zatverdzhuvalnomu nabori ye peredbachenim abo pravilno abo nepravilno V takij situaciyi dlya pidbivannya pidsumku dopasovanosti mozhlivo vikoristovuvati riven pohibki nepravilnoyi klasifikaciyi hocha takozh mozhlivo vikoristovuvati j inshi miri taki yak prognostichna znachushist pozitivnogo rezultatu Koli peredbachuvane znachennya ye rozpodilenim neperervno dlya pidsumovuvannya pohibok mozhlivo vikoristovuvati serednokvadratichnu pohibku en chi medianu absolyutnih vidhilen Vikoristannya apriornoyi informaciyiKoli koristuvachi zastosovuyut perehresne zatverdzhuvannya dlya obirannya dobroyi konfiguraciyi l displaystyle lambda voni mozhut hotiti zbalansovuvati vibir perehresnogo zatverdzhuvannya z yihnoyu vlasnoyu ocinkoyu konfiguraciyi Takim chinom voni mozhut namagatisya protistoyati minlivosti perehresnogo zatverdzhuvannya koli rozmir vibirki ye malim i vklyuchati dorechnu informaciyu z poperednih doslidzhen Napriklad u vpravi poyednuvannya prognoziv perehresne zatverdzhuvannya mozhlivo zastosovuvati dlya ocinyuvannya vag priznachuvanih kozhnomu z prognoziv Oskilki prostij rivnozvazhenij prognoz vazhko peremogti na vidhilennya vid rivnih vag mozhe buti zaprovadzheno shtraf Abo yaksho perehresne zatverdzhuvannya zastosovuyut dlya priznachuvannya individualnih vag sposterezhennyam to mozhlivo shtrafuvati vidhilennya vid rivnih vag shob unikati marnuvannya potencijno dorechnoyi informaciyi Gurnveg 2018 pokazuye yak mozhlivo viznachiti parametr nalashtuvannya g displaystyle gamma takim chinom shobi koristuvach mig intuyitivno balansuvati mizh tochnistyu perehresnogo zatverdzhuvannya ta prostoroyu dotrimuvannya etalonnogo parametru l R displaystyle lambda R viznachenogo koristuvachem Yaksho l i displaystyle lambda i poznachuye i displaystyle i tu konfiguraciyu kandidata yaku moglo bi buti obrano to funkciyu vtrat dlya minimizuvannya mozhe buti viznacheno yak L l i 1 g Relative Accuracy i g Relative Simplicity i displaystyle L lambda i 1 gamma mbox Relative Accuracy i gamma mbox Relative Simplicity i Vidnosnu tochnist angl relative accuracy mozhe buti virazheno kilkisno yak MSE l i MSE l R displaystyle mbox MSE lambda i mbox MSE lambda R tak sho serednokvadratichnu pohibku kandidata l i displaystyle lambda i roblyat vidnosnoyu do viznachenoyi koristuvachem l R displaystyle lambda R Chlen vidnosnoyi prostoti angl relative simplicity vimiryuye velichinu na yaku l i displaystyle lambda i vidhilyayetsya vid l R displaystyle lambda R po vidnoshennyu do maksimalnoyi velichini vidhilennya vid l R displaystyle lambda R Vidpovidno vidnosnu prostotu mozhlivo vkazati yak l i l R 2 l max l R 2 displaystyle frac lambda i lambda R 2 lambda max lambda R 2 de l max displaystyle lambda max vidpovidaye znachennyu l displaystyle lambda z najbilshim dopustimim vidhilennyam vid l R displaystyle lambda R Za dopomogoyu g 0 1 displaystyle gamma in 0 1 koristuvach vstanovlyuye naskilki silnim ye vpliv etalonnogo parametru po vidnoshennyu do perehresnogo zatverdzhuvannya Mozhlivo dodavati chleni vidnosnoyi prostoti dlya dekilkoh konfiguraciyi c 1 2 C displaystyle c 1 2 C vkazavshi funkciyu vtrat yak L l i Relative Accuracy i c 1 C g c 1 g c Relative Simplicity i c displaystyle L lambda i mbox Relative Accuracy i sum c 1 C frac gamma c 1 gamma c mbox Relative Simplicity i c Gurnveg 2018 pokazuye sho funkciyu vtrat z takim kompromisom tochnosti prostoti takozh mozhlivo vikoristovuvati shobi intuyitivno viznachati en na kshtalt adaptivnogo LASSO ta bayesovoyi hrebtovoyi regresiyi Div priklad u en Statistichni vlastivostiPripustimo sho mi obirayemo miru dopasovanosti F j vikoristovuyemo perehresne zatverdzhuvannya shobi virobiti ocinku F matematichnogo spodivannya dopasovanosti angl expected fit EF modeli do nezalezhnogo naboru danih vibranogo z tiyeyi zh generalnoyi sukupnosti sho j trenuvalni dani Yaksho mi uyavimo vibirannya dekilkoh nezalezhnih trenuvalnih naboriv sho sliduyut odnomu j tomu zh rozpodilovi to znachennya rezultatu F budut minlivimi Statistichni vlastivosti F viplivayut iz ciyeyi minlivosti Dispersiya F mozhe buti velikoyu Z ciyeyi prichini yaksho dvi statistichni proceduri porivnyuyut na osnovi perehresnogo zatverdzhuvannya procedura z krashoyu ocinyuvanoyu produktivnist mozhe naspravdi ne buti krashoyu z cih dvoh tobto vona mozhe ne mati krashogo znachennya EF Bulo dosyagnuto pevnogo progresu v pobudovi dovirchih promizhkiv navkolo ocinok perehresnogo zatverdzhuvannya ale ce vvazhayut skladnoyu problemoyu Obchislyuvalni pitannyaBilshist form perehresnogo zatverdzhuvannya pryamolinijni dlya vtilennya doki dostupne vtilennya doslidzhuvanogo metodu peredbachuvannya Zokrema metod peredbachuvannya mozhe buti chornoyu skrinkoyu nemaye potrebi mati dostup do nutroshiv jogo vtilennya Yaksho metod peredbachuvannya vitratnij dlya trenuvannya to perehresne zatverdzhuvannya mozhe buti povilnim oskilki trenuvannya musit zdijsnyuvatisya bagatorazovo V deyakih vipadkah takih yak najmenshi kvadrati ta en perehresne zatverdzhuvannya mozhlivo znachno priskoriti obchislyuyuchi poperedno deyaki znachennya potribni v trenuvanni bagatorazovo abo vikoristovuyuchi shvidki pravila utochnennya taki yak en Prote slid buti oberezhnimi shobi zberegti povne zasliplennya zatverdzhuvalnogo naboru vid trenuvalnoyi proceduri bo inakshe mozhe viniknuti zmishennya Krajnij vipadok priskorennya perehresnogo zatverdzhuvannya traplyayetsya v linijnij regresiyi de rezultati perehresnogo zatverdzhuvannya ye virazom zamknenogo viglyadu vidomim yak suma kvadrativ pohibok peredbachuvanih zalishkiv angl prediction residual error sum of squares en Obmezhennya ta nepravilne vikoristannyaPerehresne zatverdzhuvannya vidaye zmistovni rezultati lishe yaksho zatverdzhuvalnij ta trenuvalnij nabori vibirayut z odniyeyi j tiyeyi zh generalnoyi sukupnosti j lishe yaksho lyudske uperedzhennya perebuvaye pid kontrolem V bagatoh zastosuvannyah peredbachuvalnogo modelyuvannya struktura doslidzhuvanoyi sistemi evolyuciyuye z chasom tobto ye nestacionarnoyu I te j druge mozhe privnositi sistematichni vidminnosti mizh trenuvalnim ta zatverdzhuvalnim naborami Napriklad yaksho model dlya en trenuyut na danih za pevnij p yatirichnij period to bude nerealistichnim rozglyadati nastupnij p yatirichnij period yak vibranij z tiyeyi zh generalnoyi sukupnosti Yak inshij priklad rozglyanmo model sho rozroblyayut dlya peredbachuvannya riziku osobi otrimati diagnoz pevnoyi hvorobi protyagom nastupnogo roku Yaksho model trenuyut vikoristovuyuchi dani doslidzhennya sho ohoplyuye lishe specifichnu grupu naselennya napriklad molodih lyudej abo cholovikiv ale potim zastosovuyut do naselennya v cilomu to rezultati perehresnogo zatverdzhuvannya z trenuvalnogo naboru mozhut vidriznyatisya vid dijsnoyi peredbachuvalnoyi produktivnosti duzhe silno V bagatoh zastosuvannyah takozh mozhe buti nepravilno vkazano modeli abo voni mozhut zminyuvatisya zalezhno vid uperedzhenosti modelyuvalnika ta abo vipadkovogo viboru Koli take traplyayetsya mozhe vinikati ilyuziya sho sistema zminyuyetsya v zovnishnih vibirkah todi yak prichina polyagaye v tomu sho model propustila kritichnij peredbachuvach ta abo vklyuchila peredbachuvach zbitij z panteliku Novi dani svidchat sho perehresne zatverdzhuvannya same po sobi ye ne duzhe peredbachuvalnim dlya zovnishnoyi zastosovnosti todi yak odin z vidiv eksperimentalnogo zatverdzhuvannya vidomij yak obminne vibirannya angl swap sampling sho kontrolyuye lyudske uperedzhennya mozhe mati shodo neyi znachno krashu peredbachuvalnu zdatnist Yak viznacheno cim velikim doslidzhennyam MAQC II dlya 30 000 modelej obminne vibirannya mistit v sobi perehresne zatverdzhuvannya v tomu sensi sho peredbachuvannya viprobovuyut na nezalezhnih trenuvalnij ta zatverdzhuvalnij vibirkah Do togo zh modeli takozh i rozroblyayut na cih nezalezhnih vibirkah i modelyuvalnikami sho ne znayut odni pro odnih Koli mizh cimi modelyami rozroblenimi na cih obminyuvanih trenuvalnomu ta zatverdzhuvalnomu naborah ye nevidpovidnist sho traplyayetsya dovoli chasto MAQC II pokazuye sho ce znachno krashe peredbachuvatime poganu zovnishnyu produktivnist nizh tradicijne perehresne zatverdzhuvannya Prichinoyu uspishnosti obminnogo vibirannya ye vbudovanij kontrol lyudskih uperedzhen v pobudovi modelej Na dodachu do zanadto velikoyi viri u peredbachuvannya yaka mozhe variyuvatisya mizh modelyuvalnikami i vesti do poganoyi zovnishnoyi zastosovnosti cherez ci splutani vplivi modelyuvalnikiv os ishe deyaki nepravilni sposobi vikoristannya perehresnogo zatverdzhuvannya Vikonannya pochatkovogo analizu dlya vstanovlyuvannya najinformativnishih oznak iz zastosuvannyam vsogo naboru danih yaksho obirannya oznak abo nalashtuvannya modeli vimagaye procedura modelyuvannya ce musit buti povtoryuvano na kozhnomu trenuvalnomu nabori Inakshe peredbachuvannya bezumovno budut zmisheni vgoru Yaksho dlya virishuvannya yaku oznaku vikoristovuvati zastosovuvati perehresne zatverdzhuvannya to dlya vikonannya obirannya oznak na kozhnomu trenuvalnomu nabori musit vikonuvatisya vnutrishnye perehresne zatverdzhuvannya angl inner cross validation Vikonannya centruvannya za serednim znachennyam peremasshtabuvannya znizhennya rozmirnosti usunennya vikidiv abo bud yakoyi inshoyi poperednoyi obrobki danih zalezhnoyi vid nih za dopomogoyu vsogo naboru danih Hoch ce j duzhe poshireno na praktici bulo pokazano sho ce privnosit zmishennya v ocinki perehresnogo zatverdzhuvannya Dozvolyannya deyakim z trenuvalnih danih vhoditi j do viprobuvalnogo naboru ce mozhe stavatisya cherez dvijnikuvannya angl twinning v nabori danih za yakogo v nomu mistitsya yakas kilkist povnistyu abo majzhe identichnih zrazkiv Dvijnikuvannya do deyakoyi miri zavzhdi maye misce navit v idealno nezalezhnih trenuvalnih ta zatverdzhuvalnih vibirkah Ce vidbuvayetsya cherez te sho deyaki zi sposterezhen trenuvalnoyi vibirki matimut znachennya peredbachuvalnih zminnih majzhe identichni do sposterezhen zatverdzhuvalnoyi vibirki I deyaki z nih korelyuvatimut z cillyu na rivni krashomu za vipadkovij v odnomu j tomu zh napryamku yak u trenuvanni tak i v zatverdzhuvanni buduchi naspravdi kerovanimi zburenimi peredbachuvachami z poganoyu zovnishnoyu zastosovnistyu Yaksho taku perehresno zatverdzhenu model bude obrano z k kratnogo naboru to spracyuye lyudske pidtverdzhuvalne uperedzhennya viznachivshi cyu model zatverdzhenoyu Os chomu tradicijne perehresne zatverdzhuvannya potrebuye dopovnennya kontrolem lyudskogo uperedzhennya ta zbitogo z panteliku viznachennya modeli takogo yak obminne vibirannya ta perspektivne doslidzhennya Perehresne zatverdzhuvannya dlya modelej chasovih ryadivCherez vazhlivist poryadku danih dlya modelej chasovih ryadiv perehresne zatverdzhuvannya utochniti mozhe buti problematichnim Dorechnishim pidhodom mozhe buti zastosuvannya kovznogo perehresnogo zatverdzhuvannya angl rolling cross validation Prote yaksho produktivnist opisano yedinoyu zvedenoyu statistikoyu to mozhlivo pracyuvatime pidhid opisanij Politisom ta Romano yak en Statistici natyazhki potribno prijmati promizhok chasovogo ryadu j povertati zvedenu statistiku na nomu Viklik stacionarnoyi natyazhki potrebuye vkazuvannya dorechnoyi serednoyi dovzhini promizhku ZastosuvannyaPerehresne zatverdzhuvannya mozhlivo vikoristovuvati dlya porivnyuvannya produktivnosti riznih procedur peredbachuvalnogo modelyuvannya Napriklad pripustimo sho nas cikavit optichne rozpiznavannya simvoliv i dlya rozpiznavannya spravzhnogo simvolu z zobrazhennya rukopisnogo simvolu mi rozglyadayemo vikoristannya abo opornovektornoyi mashini OVM abo k najblizhchih susidiv kNS Zastosuvavshi perehresne zatverdzhuvannya mi mozhemo otrimati empirichni ocinki sho porivnyuyut ci dva metodi v terminah yihnih vidpovidnih chastok nepravilno klasifikovanih simvoliv I navpaki vnutrishnovibirkova ocinka ne nadavatime potribnoyi velichini tobto pohibki uzagalnyuvannya Perehresne zatverdzhuvannya takozh mozhlivo zastosovuvati v obiranni zminnih Pripustimo sho mi vikoristovuyemo rivni ekspresiyi 20 bilkiv shobi peredbachuvati chi vidreaguye paciyent z rakom na pevni liki Odniyeyu z praktichnih cilej bude viznachiti yaku pidmnozhinu z 20 oznak slid vikoristovuvati dlya viroblennya najkrashoyi peredbachuvalnoyi modeli Dlya bilshosti procedur modelyuvannya yaksho mi porivnyuyemo pidmnozhini oznak vikoristovuyuchi vnutrishnovibirkovi rivni pohibki najkrasha produktivnist dosyagatimetsya pri vikoristanni vsih 20 oznak Prote za perehresnogo zatverdzhuvannya model iz najkrashoyu dopasovanistyu v zagalnomu vipadku vklyuchatime lishe pidmnozhinu oznak yaki vvazhayutsya spravdi informativnimi Neshodavnim rozshirennyam medichnoyi statistiki stalo yiyi zastosuvannya v metaanalizi Vona formuye osnovu statistiki obgruntovanosti angl validation statistic Vn yaku vikoristovuyut shobi viprobovuvati statistichnu obgruntovanist pidsumkovih ocinok metaanalizu Yiyi takozh vikoristovuvali v metaanalizi u zvichnishomu sensi dlya ocinyuvannya pravdopodibnoyi pohibki peredbachuvannya rezultativ metaanalizu Div takozhVikishovishe maye multimedijni dani za temoyu Perehresne zatverdzhuvannya Pidsilyuvannya mashinne navchannya Natyazhkove agreguvannya angl bagging en Statistichna natyazhka Vitik mashinne navchannya Obirannya modeli en ObgruntovanistZauvazhennya ta primitkiPiryonesi S Madeh El Diraby Tamer E 1 bereznya 2020 Data Analytics in Asset Management Cost Effective Prediction of the Pavement Condition Index Journal of Infrastructure Systems angl 26 1 04019036 doi 10 1061 ASCE IS 1943 555X 0000512 S2CID 213782055 Allen David M 1974 The Relationship between Variable Selection and Data Agumentation and a Method for Prediction Technometrics angl 16 1 125 127 doi 10 2307 1267500 JSTOR 1267500 Stone M 1974 Cross Validatory Choice and Assessment of Statistical Predictions Journal of the Royal Statistical Society Series B Methodological angl 36 2 111 147 doi 10 1111 j 2517 6161 1974 tb00994 x S2CID 62698647 Stone M 1977 An Asymptotic Equivalence of Choice of Model by Cross Validation and Akaike s Criterion Journal of the Royal Statistical Society Series B Methodological angl 39 1 44 47 doi 10 1111 j 2517 6161 1977 tb01603 x JSTOR 2984877 Geisser Seymour 1993 Predictive Inference angl New York NY Chapman and Hall ISBN 978 0 412 03471 8 Kohavi Ron 1995 A study of cross validation and bootstrap for accuracy estimation and model selection Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence angl San Mateo CA Morgan Kaufmann 2 12 1137 1143 CiteSeerX 10 1 1 48 529 Devijver Pierre A Kittler Josef 1982 Pattern Recognition A Statistical Approach angl London GB Prentice Hall ISBN 0 13 654236 0 Galkin Alexander 28 listopada 2011 What is the difference between test set and validation set angl Procitovano 10 zhovtnya 2018 angl Arhiv originalu za 14 bereznya 2015 Procitovano 14 listopada 2013 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Obslugovuvannya CS1 bot Storinki z posilannyami na dzherela de status originalnogo URL nevidomij posilannya Cawley Gavin C Talbot Nicola L C 2010 On Over fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation PDF Journal of Machine Learning Research angl 11 2079 2107 Grossman Robert Seni Giovanni Elder John Agarwal Nitin Liu Huan 2010 Ensemble Methods in Data Mining Improving Accuracy Through Combining Predictions Synthesis Lectures on Data Mining and Knowledge Discovery angl Morgan amp Claypool 2 1 126 doi 10 2200 S00240ED1V01Y200912DMK002 Trippa Lorenzo Waldron Levi Huttenhower Curtis Parmigiani Giovanni March 2015 Bayesian nonparametric cross study validation of prediction methods The Annals of Applied Statistics angl 9 1 402 428 arXiv 1506 00474 Bibcode 2015arXiv150600474T doi 10 1214 14 AOAS798 ISSN 1932 6157 S2CID 51943497 Celisse Alain 1 zhovtnya 2014 Optimal cross validation in density estimation with the L 2 loss The Annals of Statistics angl 42 5 1879 1910 arXiv 0811 0802 doi 10 1214 14 AOS1240 ISSN 0090 5364 S2CID 17833620 Airola A Pahikkala T Waegeman W De Baets Bernard Salakoski T 1 kvitnya 2011 An experimental comparison of cross validation techniques for estimating the area under the ROC curve Computational Statistics amp Data Analysis angl 55 4 1828 1844 doi 10 1016 j csda 2010 11 018 Molinaro A M Simon R Pfeiffer R M 1 serpnya 2005 Prediction error estimation a comparison of resampling methods Bioinformatics angl 21 15 3301 3307 doi 10 1093 bioinformatics bti499 ISSN 1367 4803 PMID 15905277 fold Anglijsko ukrayinsko anglijskij slovnik naukovoyi movi fizika ta sporidneni nauki Chastina I anglijsko ukrayinska uklad O Kocherga Ye Mejnarovich 2010 McLachlan Geoffrey J Ambroise Christophe 2004 Analyzing microarray gene expression data angl Wiley Elements of Statistical Learning data mining inference and prediction 2nd Edition web stanford edu angl Procitovano 4 kvitnya 2019 Vanwinckelen Gitte 2 zhovtnya 2019 On Estimating Model Accuracy with Repeated Cross Validation angl s 39 44 ISBN 9789461970442 Soper Daniel S 2021 Greed Is Good Rapid Hyperparameter Optimization and Model Selection Using Greedy k Fold Cross Validation PDF Electronics angl 10 16 1973 doi 10 3390 electronics10161973 Cross Validation angl Procitovano 11 listopada 2012 Arlot Sylvain Celisse Alain 2010 A survey of cross validation procedures for model selection Statistics Surveys angl 4 40 79 arXiv 0907 4728 doi 10 1214 09 SS054 S2CID 14332192 In brief CV consists in averaging several hold out estimators of the risk corresponding to different data splits Dubitzky Werner Granzow Martin Berrar Daniel 2007 Fundamentals of data mining in genomics and proteomics angl Springer Science amp Business Media s 178 Kuhn Max Johnson Kjell 2013 Applied Predictive Modeling angl New York NY Springer New York doi 10 1007 978 1 4614 6849 3 ISBN 9781461468486 Cantzler H angl Institute for Perception Action and Behaviour Division of Informatics University of Edinburgh Arhiv originalu za 4 lyutogo 2023 Hoornweg Victor 2018 Science Under Submission angl Hoornweg Press ISBN 978 90 829188 0 9 Efron Bradley Tibshirani Robert 1997 Improvements on cross validation The 632 Bootstrap Method en angl 92 438 548 560 doi 10 2307 2965703 JSTOR 2965703 MR 1467848 Stone Mervyn 1977 Asymptotics for and against cross validation en angl 64 1 29 35 doi 10 1093 biomet 64 1 29 JSTOR 2335766 MR 0474601 Consortium MAQC 2010 The Microarray Quality Control MAQC II study of common practices for the development and validation of microarray based predictive models Nature Biotechnology angl London Nature Publishing Group 28 8 827 838 doi 10 1038 nbt 1665 PMC 3315840 PMID 20676074 Bermingham Mairead L Pong Wong Ricardo Spiliopoulou Athina Hayward Caroline Rudan Igor Campbell Harry Wright Alan F Wilson James F Agakov Felix Navarro Pau Haley Chris S 2015 Application of high dimensional feature selection evaluation for genomic prediction in man Sci Rep angl 5 10312 Bibcode 2015NatSR 510312B doi 10 1038 srep10312 PMC 4437376 PMID 25988841 Varma Sudhir Simon Richard 2006 Bias in error estimation when using cross validation for model selection BMC Bioinformatics angl 7 91 doi 10 1186 1471 2105 7 91 PMC 1397873 PMID 16504092 Moscovich Amit Rosset Saharon 1 veresnya 2022 On the Cross Validation Bias due to Unsupervised Preprocessing Journal of the Royal Statistical Society Series B Statistical Methodology angl 84 4 1474 1502 arXiv 1901 08974 doi 10 1111 rssb 12537 S2CID 215745385 Bergmeir Christopher Benitez Jose 2012 On the use of cross validation for time series predictor evaluation Information Sciences angl 191 192 213 doi 10 1016 j ins 2011 12 028 cherez Elsevier Science Direct Politis Dimitris N Romano Joseph P 1994 The Stationary Bootstrap Journal of the American Statistical Association angl 89 428 1303 1313 doi 10 1080 01621459 1994 10476870 hdl 10983 25607 Hastie Trevor Tibshirani Robert Friedman Jerome H 2009 The Elements of Statistical Learning Data Mining Inference and Prediction angl Springer ISBN 978 0 387 84884 6 Picard Richard Cook Dennis 1984 Cross Validation of Regression Models Journal of the American Statistical Association angl 79 387 575 583 doi 10 2307 2288403 JSTOR 2288403 Willis BH Riley RD 2017 Measuring the statistical validity of summary meta analysis and meta regression results for use in clinical practice Statistics in Medicine angl 36 21 3283 3301 doi 10 1002 sim 7372 PMC 5575530 PMID 28620945 Riley RD Ahmed I Debray TP Willis BH Noordzij P Higgins JP Deeks JJ 2015 Summarising and validating test accuracy results across multiple studies for use in clinical practice Statistics in Medicine angl 34 13 2081 2103 doi 10 1002 sim 6471 PMC 4973708 PMID 25800943