Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Навчання ранжуванню англ learning to rank або машине навчання ранжуванню МНР англ machine learned ranking є застосування

Навчання ранжуванню

Навчання ранжуванню

Навчання ранжуванню (англ. learning to rank) або машине-навчання ранжуванню (МНР, англ. machine-learned ranking) є застосуванням машинного навчання, як правило, керованого навчання, напівкерованого навчання або навчання з підкріпленням, при побудові моделей ранжування для інформаційно-пошукових систем. Навчальні набори даних складаються зі списків елементів з деяким частковим порядком, заданим між елементами в кожному списку. Цей порядок, як правило, відповідає числовим або порядковим балам або бінарним рішенням (наприклад, «відповідає» або «не відповідає») для кожного елемента. Метою моделі ранжування є присвоєння рангу, тобто, у проведенні перестановки елементів з метою створення нових списків, які «подібні» до рейтингів у навчальних даних в певному сенсі.

Застосування

В інформаційному пошуку

Ранжування є центральною складовою багатьох інформаційно-пошукових задач, наприклад, [en], колаборативної фільтрації, аналізу тональності тексту, і онлайн-реклами.

Навчальні дані складаються з запитів та документів, приписуючи кожній такій парі степінь відповідності. Створення навчального набору можливе вручну людьми з потрібною кваліфікацією (англ. assessors або raters, як їх називає Гугл). Вони перевіряють результати для деяких запитів і визначити релевантність кожного результату. Очевидно, що не можливо перевірити релевантність всіх документів, і тому зазвичай використовується метод, званий пулінгом — перевіряють тільки кілька документів вгорі списку, отриманих за допомогою деяких існуючих моделей ранжування. Крім того, навчальні дані можуть бути отримані автоматично шляхом аналізу журналів логування переходів (наприклад, результати пошуку, які отримали кліки від користувачів), ланцюжки запитів, або такі характеристики пошукової системи як [en].

Навчальні дані використовуються алгоритмом навчання для отримання моделі ранжування, яка обчислює релевантність документів для фактичних запитів.

Зазвичай користувачі очікують, що пошуковий запит буде виконано за короткий час (наприклад, кілька сотень мілісекунд для вебпошуку), що унеможливлює оцінку складної моделі ранжування на кожному документі в корпусі, тому використовують двохкрокову схему. Спочатку невелика кількість потенційно релевантних документів ідентифікується з використанням більш простих моделей пошуку, які дозволяють швидко оцінювати запити, такі як модель векторного простору, [en], зважений AND, або [en]. Цей етап називається запитом верхніх image документів, у літературі було запропоновано багато евристичних підходів для прискорення цього кроку, наприклад, використання статичного показника якості документа та багаторівневих індексів. На другому етапі використовується більш точна обчислювальна машина, яка споживає більше ресурсів, і виконує переоцінку цих документів.

В інших областях

Алгоритми навчання ранжируванню були застосовані в інших областях, окрім пошуку інформації:

Вектори ознак

Для зручності алгоритмів МНР пари запит-документ зазвичай представлені числовими векторами, які називаються векторами ознак. Такий підхід іноді називають торбою ознак аналогічно моделі «торба слів» і моделі векторного простору, що використовується при інформаційному пошуку для представлення документів.

Компоненти таких векторів називаються ознаками, факторами або сигналами рангу. Вони можуть бути розділені на три групи (ознаки з [en] показані як приклади):

  • Незалежні від запиту або статичні ознаки — ті ознаки, які залежать тільки від документа, а не від запиту. Наприклад, PageRank або довжина документа. Такі ознаки можна підраховувати офлайн під час індексації. Вони можуть бути використані для розрахунку статичного показника якості документа (або статичного рангу), який часто використовується для прискорення оцінки пошукових запитів.
  • Залежні від запиту або динамічні ознаки — ті ознаки, які залежать як від вмісту документа, так і від запиту, наприклад, результату TF-IDF або інших функцій ранжування, які не є алгоритмами МНР.
  • Ознаки рівня запитів або ознаки запитів, які залежать тільки від запиту. Наприклад, кількість слів у запиті. Див. [en].

Деякі приклади ознак, які використовувалися у відомому наборі даних :

  • TF, TF-IDF, [en], і мовні оцінки моделей зон документа (назва, тіло, текст якоря, URL) для цього запиту;
  • Довжини та суми IDF зон документа;
  • PageRank документу, [en] ранги та їх варіанти.

Вибір і розробка хороших ознак є важливою областю в машинному навчанні, що називається конструюванням ознак.

Метрики оцінювання

Див. також: [en]

Існує декілька метрик (мір), які зазвичай використовуються для того, щоб оцінити, наскільки добре алгоритм працює на навчальних даних і порівнювати продуктивність різних алгоритмів МНР. Часто завдання «навчання рангу» переформулюється як задача оптимізації відносно однієї з цих метрик.

Приклади метрик оцінки рейтингів:

Дисконтованому сукупному приросту і його нормалізованому варіанту зазвичай застосовуються в академічних дослідженнях, коли використовуються кілька рівнів релевантності. Інші метрики, такі як середня усереднена влучність, середній взаємний ранг і влучність, визначаються тільки для бінарних суджень.

Нещодавно було запропоновано кілька нових метрик оцінки, які стверджують, що модель задоволення користувачів результатами пошуку краще, ніж метрика дисконтованого сукупного приросту:

  • Очікуваний взаємний рейтинг (англ. expected reciprocal rank, ERR);
  • Pfound від Yandex.

Обидві ці метрики базуються на припущенні, що користувач, найімовірніше, перестане переглядати результати пошукового запиту після того, як зустріне більш відповідний документ, ніж після менш релевантного документа.

Підходи

Тай-Янь Ліу (англ. Tie-Yan Liu) з Microsoft Research Asia проаналізував наявні алгоритми навчання ранжуванню у своїй роботі «Навчання ранжуванню для пошуку інформації». Він класифікував їх за трьома групами відповідно до їх вхідного представлення і функції втрат: точковий, попарний і списковий підхід. На практиці спискові підходи часто перевершують попарні та точкові підходи. Це твердження було додатково підтверджено великомасштабним експериментом щодо оцінки різних методів навчання ранжуванню на великій колекції еталонних наборів даних.

Точковий підхід

У цьому випадку передбачається, що кожна пара запит-документ у навчальних даних має числову або порядкову оцінку. Тоді завдання навчання ранжуванню можна наблизити задачею регресії — для заданої пари запит-документ, передбачити її оцінку.

Ряд існуючих алгоритмів машинного керованого навчання може бути легко використаний для цієї мети. Порядкові алгоритми регресії і класифікації також можуть бути використані в точковому підході, коли вони використовуються для прогнозування однієї пари запит-документ, і вона приймає невелике, скінченне число значень.

Попарний підхід

У цьому випадку проблема навчання ранжуванню апроксимується проблемою класифікації — вивчення бінарного класифікатора, який може визначити, який документ краще в даній парі документів. Мета полягає в мінімізації середньої кількості перестановок в рейтингу.

Списковий підхід

Ці алгоритми намагаються безпосередньо оптимізувати значення однієї з наведених вище метрик оцінювання, усереднених по всіх запитах в навчальних даних. Це важко, оскільки більшість метрик оцінювання не є неперервними функціями від параметрів моделі ранжирування, і тому необхідно застосовувати гладкі наближення або слід використовувати обмеження метрик оцінювання.

Список методів

Частковий список алгоритмів навчання ранжирування наведено нижче. Вказано роки першої публікації кожного методу:

Рік Назва Тип Примітки
1989 OPRF 2 точковий Поліноміальна регресія (замість машинного навчання ця робота належить до розпізнавання образів, але ідея та ж сама)
1992 SLR 2 точковий Поетапна логістична регресія
1999 MART [ 18 серпня 2010 у Wayback Machine.] (Multiple Additive Regression Trees) 2 попарний
2000 Ranking SVM [ 3 березня 2016 у Wayback Machine.] (RankSVM) 2 попарний Подальші пояснення є в, де описано застосування ранжування через використання журналювання кліків.
2002 Pranking 1 точковий Порядкова регресія.
2003 RankBoost [ 20 жовтня 2019 у Wayback Machine.] 2 попарний
2005 RankNet [ 9 грудня 2018 у Wayback Machine.] 2 попарний
2006 IR-SVM [ 3 березня 2016 у Wayback Machine.] 2 попарний Ранжування за допомогою SVM з нормалізацією на рівні запитів у функції втрат.
2006 LambdaRank [ 28 березня 2016 у Wayback Machine.] попарний/списковий RankNet в якому попарна функція втрат множиться на зміни в IR метриці спричинені перестановкою.
2007 AdaRank [ 4 березня 2016 у Wayback Machine.] 3 списковий
2007 FRank [ 3 березня 2016 у Wayback Machine.] 2 попарний Ґрунтується на RankNet, використовує відмінну функцію втрат — точні втрати.
2007 GBRank [ 23 червня 2018 у Wayback Machine.] 2 попарний
2007 ListNet [ 19 квітня 2016 у Wayback Machine.] 3 списковий
2007 McRank [ 19 січня 2016 у Wayback Machine.] 1 точковий
2007 2 попарний
2007 RankCosine [ 4 березня 2016 у Wayback Machine.] 3 списковий
2007 RankGP 3 списковий
2007 RankRLS [ 23 червня 2018 у Wayback Machine.] 2 попарний

Регуляризоване ранжування на основі найменших квадратів. Робота розширена в навчанню ранжування по графам загальних преференцій.

2007 SVMmap [ 14 листопада 2019 у Wayback Machine.] 3 списковий
2008 LambdaSMART/LambdaMART [ 10 червня 2015 у Wayback Machine.]   попарний/списковий Переможець у конкурсі Yahoo Learning to Rank. Використано ансамбль моделей LambdaMART. Ґрунтується на MART (1999) «LambdaSMART», для Lambda-submodel-MART, або LambdaMART у випадку без підмоделей (https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2008-109.pdf [ 6 березня 2018 у Wayback Machine.]).
2008 ListMLE [ 3 березня 2016 у Wayback Machine.] 3 списковий Ґрунтується на ListNet.
2008 PermuRank [ 3 березня 2016 у Wayback Machine.] 3 списковий
2008 SoftRank [ 3 березня 2016 у Wayback Machine.] 3 списковий
2008 Ranking Refinement [ 6 квітня 2012 у Wayback Machine.] 2 попарний Підхід з напіватоматичним навчанням ранжуванню з використанням бустингу.
2008 2 попарний Розширення RankBoost для навчання з частково позначеними даними (напіватоматичне навчання ранжуванню).
2008 SortNet [ 26 червня 2018 у Wayback Machine.] 2 попарний SortNet, алгоритм адаптивного ранжування, який упорядковує об'єкти за допомогою нейронної мережі, яка порівнює об'єкти.
2009 2 попарний Варіація RankBoost зі збереженням значущості. Ідея полягає в тому, що чим більш відрізняються мітки пари документів, тим складніше алгоритму намагатись їх класифікувати.
2009 3 списковий На відміну від попередніх методів, BoltzRank створює модель ранжування, яка проглядає під час запиту не тільки окремий документ, але і пари документів.
2009 BayesRank [ 16 травня 2021 у Wayback Machine.] 3 списковий Метод об'єднує модель Plackett-Luce та нейронну мережу для мінімізації очікуваного ризику Байєса, пов'язаного з нормалізованим дисконтованим сукупним приростом (NDCG), з точки зору прийняття рішень.
2010 NDCG Boost [ 4 березня 2016 у Wayback Machine.] 3 списковий Бустинговий підхід до оптимізації нормалізованого дисконтованого сукупного прирісту (NDCG).
2010 GBlend [ 11 травня 2019 у Wayback Machine.] 2 попарний Розширений GBRank навчання задачам спільного вирішення декількох завдань навчання ранжування з деякими спільними ознаками.
2010 2 попарний & списковий
2010 CRR [ 23 червня 2018 у Wayback Machine.] 2 точковий & попарний Комбіновані регресія і ранжування. Використовується стохастичний градієнтний спуск для оптимізації лінійної суми квадратів точкових втрат та попарних завісних втрат SVM-ранжування.
2017 ES-Rank [ 11 травня 2019 у Wayback Machine.] списковий Еволюційна стратегія навчання методу ранжирування з підгонкою по 7 метрикам.

Примітка: оскільки більшість алгоритмів керованого навчання можна застосувати до точкових випадків, вище показані тільки ті методи, які спеціально розроблені з метою ранжування.

Історія

[en] представив загальну ідею МНР у 1992 році, описавши підходи до навчання у інформаційному пошуку як узагальнення оцінки параметрів; конкретний варіант цього підходу (з використанням поліноміальної регресії) був опублікований ним за три роки до того. Білл Купер запропонував логістичну регресію для тієї ж мети в 1992 році і використав її з дослідницькою групою у Берклі для підготовки успішної функції ранжування для [en]. Manning et al. припускають, що ці ранні роботи досягли обмежених результатів свого часу через невелику кількість доступних навчальних даних і слабкий розвиток методів машинного навчання.

Кілька конференцій, таких як [en], [en] і [en] мали семінари, присвячені проблемі навчання ранжування, починаючи з середини першого десятиліття 2000-х років.

Практичне використання пошуковими системами

Комерційні вебпошукові системи почали використовувати системи машинного навчання ранжування з першого десятиліття 2000-х років. Одна з перших пошукових систем, яка почала це використовувати була AltaVista (пізніше технологія була придбана [en], а потім Yahoo), яка почала навчати функції ранжування методом [en] в квітні 2003 року.

Пошукова система Bing, як повідомляється, працює за алгоритмом RankNet [ 9 грудня 2018 у Wayback Machine.], який був винайдений у дослідженні Microsoft в 2005 році.

У листопаді 2009 року російський пошуковий сервіс Яндекс оголосив, що значно збільшив якість пошуку за рахунок розгортання нового власного алгоритму [en], варіанту методу [en], який використовує невідомі дерева рішень. 2009 року вони також виступили спонсором конкурсу МНР «Internet Mathematics 2009» на основі власних даних їх пошукової системи. Yahoo оголошувала аналогічний конкурс у 2010 році.

У 2008 році Пітер Норвіг з Google заперечував, що їх пошукова система спирається суто на МНР. Генеральний директор Cuil, Том Костелло, припускає, що вони віддають перевагу моделям, створеним вручну, тому що вони можуть перевершувати моделі отримані за допомогою машинного навчання, якщо вимірюються за показниками такими, як частота переходів або час на проведений цільовій сторінці, що є причиною того, що алгоритми МНР «дізнаються, що люди кажуть, що їм подобається, а не те, що людям подобається насправді».

У січні 2017 року ця технологія була включена в пошуковий рушій з відкритим вихідним кодом Apache Solr™, тим самим, МНР став широко доступним.

Примітки

  1. Tie-Yan Liu (2009), Learning to Rank for Information Retrieval, Foundations and Trends in Information Retrieval, т. 3, № 3, с. 225—331, doi:10.1561/1500000016, ISBN  Слайди доповіді Тай-Янь Ліу на конференції [en] 2009 доступні онлайн [ 8 серпня 2017 у Wayback Machine.]
  2. , Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press .
  3. Joachims, T. (2002), (PDF), Proceedings of the ACM Conference on Knowledge Discovery and Data Mining, архів оригіналу (PDF) за 29 грудня 2009, процитовано 11 травня 2019
  4. Joachims T.; Radlinski F. (2005), (PDF), Proceedings of the ACM Conference on Knowledge Discovery and Data Mining, архів оригіналу (PDF) за 27 липня 2011, процитовано 11 травня 2019
  5. B. Cambazoglu; H. Zaragoza; O. Chapelle; J. Chen; C. Liao; Z. Zheng; J. Degenhardt., (PDF), WSDM '10: Proceedings of the Third ACM International Conference on Web Search and Data Mining, 2010., архів оригіналу (PDF) за 28 серпня 2019, процитовано 11 травня 2019
  6. Broder A.; Carmel D.; Herscovici M.; Soffer A.; Zien J. (2003), (PDF), Proceedings of the Twelfth International Conference on Information and Knowledge Management: 426—434, ISBN , архів оригіналу (PDF) за 21 травня 2009, процитовано 11 травня 2019
  7. Manning C.; Raghavan P.; Schütze H. (2008), Introduction to Information Retrieval, Cambridge University Press. Section 7.1 [ 19 липня 2009 у Wayback Machine.]
  8. Kevin K. Duh (2009), (PDF), архів оригіналу (PDF) за 20 липня 2011, процитовано 11 травня 2019
  9. Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang, and Yi Chang, Learning to Model Relatedness for News Recommendation [ 2011-08-27 у Wayback Machine.], in International Conference on World Wide Web (WWW), 2011.
  10. Xuan, Jifeng; Monperrus, Martin (2014). Learning to Combine Multiple Ranking Metrics for Fault Localization. 2014 IEEE International Conference on Software Maintenance and Evolution. с. 191—200. doi:10.1109/ICSME.2014.41. ISBN .
  11. Richardson, M.; Prakash, A.; Brill, E. (2006). (PDF). Proceedings of the 15th International World Wide Web Conference. с. 707—715. Архів оригіналу (PDF) за 15 серпня 2009.
  12. (PDF). Архів оригіналу (PDF) за 9 квітня 2016. Процитовано 11 травня 2019.
  13. . Архів оригіналу за 4 січня 2011. Процитовано 11 травня 2019.{{}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title ()
  14. Olivier Chapelle; Donald Metzler; Ya Zhang; Pierre Grinspan (2009), (PDF), CIKM, архів оригіналу (PDF) за 24 лютого 2012
  15. Gulin A.; Karpovich P.; Raskovalov D.; Segalovich I. (2009), (PDF), Proceedings of ROMIP'2009: 163—168, архів оригіналу (PDF) за 22 листопада 2009, процитовано 11 травня 2019 ((рос.))
  16. Tax, Niek; Bockting, Sander; Hiemstra, Djoerd (2015), (PDF), Information Processing & Management, 51 (6): 757—772, doi:10.1016/j.ipm.2015.07.002, архів оригіналу (PDF) за 9 серпня 2017, процитовано 11 травня 2019
  17. Fuhr, Norbert (1989), Optimum polynomial retrieval functions based on the probability ranking principle, ACM Transactions on Information Systems, 7 (3): 183—204, doi:10.1145/65943.65944
  18. Cooper, William S.; Gey, Frederic C.; Dabney, Daniel P. (1992), Probabilistic retrieval based on staged logistic regression, SIGIR '92 Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval: 198—210, doi:10.1145/133160.133199, ISBN 
  19. Pranking. CiteSeerX 10.1.1.20.378.
  20. RankGP. CiteSeerX 10.1.1.90.220.
  21. Pahikkala, Tapio; Tsivtsivadze, Evgeni; Airola, Antti; Järvinen, Jouni; Boberg, Jorma (2009), An efficient algorithm for learning to rank from preference graphs, Machine Learning, 75 (1): 129—165, doi:10.1007/s10994-008-5097-z.
  22. C. Burges. (2010). From RankNet to LambdaRank to LambdaMART: An Overview [ 10 листопада 2017 у Wayback Machine.].
  23. Rong Jin, Hamed Valizadegan, Hang Li, Ranking Refinement and Its Application for Information Retrieval [ 6 квітня 2012 у Wayback Machine.], in International Conference on World Wide Web (WWW), 2008.
  24. Massih-Reza Amini, Vinh Truong, Cyril Goutte, A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Labeled Data [ 2010-08-02 у Wayback Machine.], International ACM SIGIR conference, 2008. Код [ 2010-07-23 у Wayback Machine.] доступний для дослідницьких цілей.
  25. Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, «SortNet: learning to rank by a neural-based sorting algorithm» [ 25 листопада 2011 у Wayback Machine.], SIGIR 2008 workshop: Learning to Rank for Information Retrieval, 2008
  26. Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao, Learning to Rank by Optimizing NDCG Measure [ 6 квітня 2012 у Wayback Machine.], в Proceeding of Neural Information Processing Systems (NIPS), 2010.
  27. Fuhr, Norbert (1992), Probabilistic Models in Information Retrieval, Computer Journal, 35 (3): 243—255, doi:10.1093/comjnl/35.3.243
  28. Manning C.; Raghavan P.; Schütze H. (2008), Introduction to Information Retrieval, Cambridge University Press. Sections 7.4 [ 21 липня 2009 у Wayback Machine.] and 15.5 [ 9 травня 2010 у Wayback Machine.]
  29. Jan O. Pedersen. The MLR Story [ 2011-07-13 у Wayback Machine.]
  30. U.S. Patent 7 197 497
  31. . Архів оригіналу за 25 листопада 2009. Процитовано 11 травня 2019.
  32. Yandex corporate blog entry about new ranking model «Snezhinsk» [ 1 березня 2012 у Wayback Machine.] (рос.)
  33. Алгоритм не розголошувався, але деякі деталі були оприлюднені в [1] [ 1 червня 2010 у Wayback Machine.] та [2] [ 1 червня 2010 у Wayback Machine.].
  34. . Архів оригіналу за 17 березня 2015. Процитовано 11 травня 2019.
  35. . Архів оригіналу за 1 березня 2010. Процитовано 26 лютого 2010.
  36. (24 травня 2008). Are Machine-Learned Models Prone to Catastrophic Errors?. Архів оригіналу за 18 вересня 2010. Процитовано 11 листопада 2009.
  37. Costello, Tom (26 червня 2009). Cuil Blog: So how is Bing doing?. Архів оригіналу за 27 червня 2009.
  38. . Tech at Bloomberg (амер.). 23 січня 2017. Архів оригіналу за 1 березня 2017. Процитовано 28 лютого 2017.

Список літератури

Посилання

Конкурси та відкриті бази даних
  • LETOR: Контрольний збірник для досліджень з вивчення ранжування для пошуку інформації [ 15 лютого 2019 у Wayback Machine.]
  • Набори даних Microsoft для навчання [ 27 травня 2016 у Wayback Machine.]
З відкритим вихідним кодом
  • Паралельна C++ / MPI реалізація градієнтних регресійних дерев для ранжування, випущених у вересні 2011 року [ 25 жовтня 2020 у Wayback Machine.]
  • C++ реалізація градієнтних дерев регресії та випадкових лісів для ранжування [ 7 жовтня 2020 у Wayback Machine.]
  • C++ та інструменти Python для використання алгоритму SVM-Rank [ 28 жовтня 2016 у Wayback Machine.]
  • Java реалізація в пошуковій системі Apache Solr

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Navchannya ranzhuvannyu angl learning to rank abo mashine navchannya ranzhuvannyu MNR angl machine learned ranking ye zastosuvannyam mashinnogo navchannya yak pravilo kerovanogo navchannya napivkerovanogo navchannya abo navchannya z pidkriplennyam pri pobudovi modelej ranzhuvannya dlya informacijno poshukovih sistem Navchalni nabori danih skladayutsya zi spiskiv elementiv z deyakim chastkovim poryadkom zadanim mizh elementami v kozhnomu spisku Cej poryadok yak pravilo vidpovidaye chislovim abo poryadkovim balam abo binarnim rishennyam napriklad vidpovidaye abo ne vidpovidaye dlya kozhnogo elementa Metoyu modeli ranzhuvannya ye prisvoyennya rangu tobto u provedenni perestanovki elementiv z metoyu stvorennya novih spiskiv yaki podibni do rejtingiv u navchalnih danih v pevnomu sensi ZastosuvannyaV informacijnomu poshuku Ranzhuvannya ye centralnoyu skladovoyu bagatoh informacijno poshukovih zadach napriklad en kolaborativnoyi filtraciyi analizu tonalnosti tekstu i onlajn reklami Navchalni dani skladayutsya z zapitiv ta dokumentiv pripisuyuchi kozhnij takij pari stepin vidpovidnosti Stvorennya navchalnogo naboru mozhlive vruchnu lyudmi z potribnoyu kvalifikaciyeyu angl assessors abo raters yak yih nazivaye Gugl Voni pereviryayut rezultati dlya deyakih zapitiv i viznachiti relevantnist kozhnogo rezultatu Ochevidno sho ne mozhlivo pereviriti relevantnist vsih dokumentiv i tomu zazvichaj vikoristovuyetsya metod zvanij pulingom pereviryayut tilki kilka dokumentiv vgori spisku otrimanih za dopomogoyu deyakih isnuyuchih modelej ranzhuvannya Krim togo navchalni dani mozhut buti otrimani avtomatichno shlyahom analizu zhurnaliv loguvannya perehodiv napriklad rezultati poshuku yaki otrimali kliki vid koristuvachiv lancyuzhki zapitiv abo taki harakteristiki poshukovoyi sistemi yak en Navchalni dani vikoristovuyutsya algoritmom navchannya dlya otrimannya modeli ranzhuvannya yaka obchislyuye relevantnist dokumentiv dlya faktichnih zapitiv Zazvichaj koristuvachi ochikuyut sho poshukovij zapit bude vikonano za korotkij chas napriklad kilka soten milisekund dlya vebposhuku sho unemozhlivlyuye ocinku skladnoyi modeli ranzhuvannya na kozhnomu dokumenti v korpusi tomu vikoristovuyut dvohkrokovu shemu Spochatku nevelika kilkist potencijno relevantnih dokumentiv identifikuyetsya z vikoristannyam bilsh prostih modelej poshuku yaki dozvolyayut shvidko ocinyuvati zapiti taki yak model vektornogo prostoru en zvazhenij AND abo en Cej etap nazivayetsya zapitom verhnih k displaystyle k dokumentiv u literaturi bulo zaproponovano bagato evristichnih pidhodiv dlya priskorennya cogo kroku napriklad vikoristannya statichnogo pokaznika yakosti dokumenta ta bagatorivnevih indeksiv Na drugomu etapi vikoristovuyetsya bilsh tochna obchislyuvalna mashina yaka spozhivaye bilshe resursiv i vikonuye pereocinku cih dokumentiv V inshih oblastyah Algoritmi navchannya ranzhiruvannyu buli zastosovani v inshih oblastyah okrim poshuku informaciyi V mashinnogo perekladu dlya ranzhuvannya mnozhini gipotetichnih perekladiv V obchislyuvalnoyi biologiyi dlya ranzhuvannya kandidativ 3 D struktur bilkiv u zadachi prognozuvannya strukturi V rekomendacijnih sistem dlya viyavlennya ranzhovanogo spisku pov yazanih novin yaku budut rekomenduvatis koristuvachevi pislya pereglyadu potochnoyi novini V oblasti rozrobki programnogo zabezpechennya metodi navchannya ranzhuvannyu buli vikoristani dlya lokalizaciyi nespravnosti Vektori oznakDlya zruchnosti algoritmiv MNR pari zapit dokument zazvichaj predstavleni chislovimi vektorami yaki nazivayutsya vektorami oznak Takij pidhid inodi nazivayut torboyu oznak analogichno modeli torba sliv i modeli vektornogo prostoru sho vikoristovuyetsya pri informacijnomu poshuku dlya predstavlennya dokumentiv Komponenti takih vektoriv nazivayutsya oznakami faktorami abo signalami rangu Voni mozhut buti rozdileni na tri grupi oznaki z en pokazani yak prikladi Nezalezhni vid zapitu abo statichni oznaki ti oznaki yaki zalezhat tilki vid dokumenta a ne vid zapitu Napriklad PageRank abo dovzhina dokumenta Taki oznaki mozhna pidrahovuvati oflajn pid chas indeksaciyi Voni mozhut buti vikoristani dlya rozrahunku statichnogo pokaznika yakosti dokumenta abo statichnogo rangu yakij chasto vikoristovuyetsya dlya priskorennya ocinki poshukovih zapitiv Zalezhni vid zapitu abo dinamichni oznaki ti oznaki yaki zalezhat yak vid vmistu dokumenta tak i vid zapitu napriklad rezultatu TF IDF abo inshih funkcij ranzhuvannya yaki ne ye algoritmami MNR Oznaki rivnya zapitiv abo oznaki zapitiv yaki zalezhat tilki vid zapitu Napriklad kilkist sliv u zapiti Div en Deyaki prikladi oznak yaki vikoristovuvalisya u vidomomu nabori danih TF TF IDF en i movni ocinki modelej zon dokumenta nazva tilo tekst yakorya URL dlya cogo zapitu Dovzhini ta sumi IDF zon dokumenta PageRank dokumentu en rangi ta yih varianti Vibir i rozrobka horoshih oznak ye vazhlivoyu oblastyu v mashinnomu navchanni sho nazivayetsya konstruyuvannyam oznak Metriki ocinyuvannyaDiv takozh en Isnuye dekilka metrik mir yaki zazvichaj vikoristovuyutsya dlya togo shob ociniti naskilki dobre algoritm pracyuye na navchalnih danih i porivnyuvati produktivnist riznih algoritmiv MNR Chasto zavdannya navchannya rangu pereformulyuyetsya yak zadacha optimizaciyi vidnosno odniyeyi z cih metrik Prikladi metrik ocinki rejtingiv en angl mean average precision MAP en angl discounted cumulative gain DCG i normalizovanij diskontovanij sukupnij pririst Vluchnist n NDCG n de n oznachaye sho metriki ocinyuyutsya tilki na verhnih n dokumentah en angl mean reciprocal rank t displaystyle tau Kendalla r displaystyle rho Spirmena Diskontovanomu sukupnomu prirostu i jogo normalizovanomu variantu zazvichaj zastosovuyutsya v akademichnih doslidzhennyah koli vikoristovuyutsya kilka rivniv relevantnosti Inshi metriki taki yak serednya userednena vluchnist serednij vzayemnij rang i vluchnist viznachayutsya tilki dlya binarnih sudzhen Neshodavno bulo zaproponovano kilka novih metrik ocinki yaki stverdzhuyut sho model zadovolennya koristuvachiv rezultatami poshuku krashe nizh metrika diskontovanogo sukupnogo prirostu Ochikuvanij vzayemnij rejting angl expected reciprocal rank ERR Pfound vid Yandex Obidvi ci metriki bazuyutsya na pripushenni sho koristuvach najimovirnishe perestane pereglyadati rezultati poshukovogo zapitu pislya togo yak zustrine bilsh vidpovidnij dokument nizh pislya mensh relevantnogo dokumenta PidhodiTaj Yan Liu angl Tie Yan Liu z Microsoft Research Asia proanalizuvav nayavni algoritmi navchannya ranzhuvannyu u svoyij roboti Navchannya ranzhuvannyu dlya poshuku informaciyi Vin klasifikuvav yih za troma grupami vidpovidno do yih vhidnogo predstavlennya i funkciyi vtrat tochkovij poparnij i spiskovij pidhid Na praktici spiskovi pidhodi chasto perevershuyut poparni ta tochkovi pidhodi Ce tverdzhennya bulo dodatkovo pidtverdzheno velikomasshtabnim eksperimentom shodo ocinki riznih metodiv navchannya ranzhuvannyu na velikij kolekciyi etalonnih naboriv danih Tochkovij pidhid U comu vipadku peredbachayetsya sho kozhna para zapit dokument u navchalnih danih maye chislovu abo poryadkovu ocinku Todi zavdannya navchannya ranzhuvannyu mozhna nabliziti zadacheyu regresiyi dlya zadanoyi pari zapit dokument peredbachiti yiyi ocinku Ryad isnuyuchih algoritmiv mashinnogo kerovanogo navchannya mozhe buti legko vikoristanij dlya ciyeyi meti Poryadkovi algoritmi regresiyi i klasifikaciyi takozh mozhut buti vikoristani v tochkovomu pidhodi koli voni vikoristovuyutsya dlya prognozuvannya odniyeyi pari zapit dokument i vona prijmaye nevelike skinchenne chislo znachen Poparnij pidhid U comu vipadku problema navchannya ranzhuvannyu aproksimuyetsya problemoyu klasifikaciyi vivchennya binarnogo klasifikatora yakij mozhe viznachiti yakij dokument krashe v danij pari dokumentiv Meta polyagaye v minimizaciyi serednoyi kilkosti perestanovok v rejtingu Spiskovij pidhid Ci algoritmi namagayutsya bezposeredno optimizuvati znachennya odniyeyi z navedenih vishe metrik ocinyuvannya userednenih po vsih zapitah v navchalnih danih Ce vazhko oskilki bilshist metrik ocinyuvannya ne ye neperervnimi funkciyami vid parametriv modeli ranzhiruvannya i tomu neobhidno zastosovuvati gladki nablizhennya abo slid vikoristovuvati obmezhennya metrik ocinyuvannya Spisok metodiv Chastkovij spisok algoritmiv navchannya ranzhiruvannya navedeno nizhche Vkazano roki pershoyi publikaciyi kozhnogo metodu Rik Nazva Tip Primitki 1989 OPRF 2 tochkovij Polinomialna regresiya zamist mashinnogo navchannya cya robota nalezhit do rozpiznavannya obraziv ale ideya ta zh sama 1992 SLR 2 tochkovij Poetapna logistichna regresiya 1999 MART 18 serpnya 2010 u Wayback Machine Multiple Additive Regression Trees 2 poparnij 2000 Ranking SVM 3 bereznya 2016 u Wayback Machine RankSVM 2 poparnij Podalshi poyasnennya ye v de opisano zastosuvannya ranzhuvannya cherez vikoristannya zhurnalyuvannya klikiv 2002 Pranking 1 tochkovij Poryadkova regresiya 2003 RankBoost 20 zhovtnya 2019 u Wayback Machine 2 poparnij 2005 RankNet 9 grudnya 2018 u Wayback Machine 2 poparnij 2006 IR SVM 3 bereznya 2016 u Wayback Machine 2 poparnij Ranzhuvannya za dopomogoyu SVM z normalizaciyeyu na rivni zapitiv u funkciyi vtrat 2006 LambdaRank 28 bereznya 2016 u Wayback Machine poparnij spiskovij RankNet v yakomu poparna funkciya vtrat mnozhitsya na zmini v IR metrici sprichineni perestanovkoyu 2007 AdaRank 4 bereznya 2016 u Wayback Machine 3 spiskovij 2007 FRank 3 bereznya 2016 u Wayback Machine 2 poparnij Gruntuyetsya na RankNet vikoristovuye vidminnu funkciyu vtrat tochni vtrati 2007 GBRank 23 chervnya 2018 u Wayback Machine 2 poparnij 2007 ListNet 19 kvitnya 2016 u Wayback Machine 3 spiskovij 2007 McRank 19 sichnya 2016 u Wayback Machine 1 tochkovij 2007 2 poparnij 2007 RankCosine 4 bereznya 2016 u Wayback Machine 3 spiskovij 2007 RankGP 3 spiskovij 2007 RankRLS 23 chervnya 2018 u Wayback Machine 2 poparnij Regulyarizovane ranzhuvannya na osnovi najmenshih kvadrativ Robota rozshirena v navchannyu ranzhuvannya po grafam zagalnih preferencij 2007 SVMmap 14 listopada 2019 u Wayback Machine 3 spiskovij 2008 LambdaSMART LambdaMART 10 chervnya 2015 u Wayback Machine poparnij spiskovij Peremozhec u konkursi Yahoo Learning to Rank Vikoristano ansambl modelej LambdaMART Gruntuyetsya na MART 1999 LambdaSMART dlya Lambda submodel MART abo LambdaMART u vipadku bez pidmodelej https www microsoft com en us research wp content uploads 2016 02 tr 2008 109 pdf 6 bereznya 2018 u Wayback Machine 2008 ListMLE 3 bereznya 2016 u Wayback Machine 3 spiskovij Gruntuyetsya na ListNet 2008 PermuRank 3 bereznya 2016 u Wayback Machine 3 spiskovij 2008 SoftRank 3 bereznya 2016 u Wayback Machine 3 spiskovij 2008 Ranking Refinement 6 kvitnya 2012 u Wayback Machine 2 poparnij Pidhid z napivatomatichnim navchannyam ranzhuvannyu z vikoristannyam bustingu 2008 2 poparnij Rozshirennya RankBoost dlya navchannya z chastkovo poznachenimi danimi napivatomatichne navchannya ranzhuvannyu 2008 SortNet 26 chervnya 2018 u Wayback Machine 2 poparnij SortNet algoritm adaptivnogo ranzhuvannya yakij uporyadkovuye ob yekti za dopomogoyu nejronnoyi merezhi yaka porivnyuye ob yekti 2009 2 poparnij Variaciya RankBoost zi zberezhennyam znachushosti Ideya polyagaye v tomu sho chim bilsh vidriznyayutsya mitki pari dokumentiv tim skladnishe algoritmu namagatis yih klasifikuvati 2009 3 spiskovij Na vidminu vid poperednih metodiv BoltzRank stvoryuye model ranzhuvannya yaka proglyadaye pid chas zapitu ne tilki okremij dokument ale i pari dokumentiv 2009 BayesRank 16 travnya 2021 u Wayback Machine 3 spiskovij Metod ob yednuye model Plackett Luce ta nejronnu merezhu dlya minimizaciyi ochikuvanogo riziku Bajyesa pov yazanogo z normalizovanim diskontovanim sukupnim prirostom NDCG z tochki zoru prijnyattya rishen 2010 NDCG Boost 4 bereznya 2016 u Wayback Machine 3 spiskovij Bustingovij pidhid do optimizaciyi normalizovanogo diskontovanogo sukupnogo priristu NDCG 2010 GBlend 11 travnya 2019 u Wayback Machine 2 poparnij Rozshirenij GBRank navchannya zadacham spilnogo virishennya dekilkoh zavdan navchannya ranzhuvannya z deyakimi spilnimi oznakami 2010 2 poparnij amp spiskovij 2010 CRR 23 chervnya 2018 u Wayback Machine 2 tochkovij amp poparnij Kombinovani regresiya i ranzhuvannya Vikoristovuyetsya stohastichnij gradiyentnij spusk dlya optimizaciyi linijnoyi sumi kvadrativ tochkovih vtrat ta poparnih zavisnih vtrat SVM ranzhuvannya 2017 ES Rank 11 travnya 2019 u Wayback Machine spiskovij Evolyucijna strategiya navchannya metodu ranzhiruvannya z pidgonkoyu po 7 metrikam Primitka oskilki bilshist algoritmiv kerovanogo navchannya mozhna zastosuvati do tochkovih vipadkiv vishe pokazani tilki ti metodi yaki specialno rozrobleni z metoyu ranzhuvannya Istoriya en predstaviv zagalnu ideyu MNR u 1992 roci opisavshi pidhodi do navchannya u informacijnomu poshuku yak uzagalnennya ocinki parametriv konkretnij variant cogo pidhodu z vikoristannyam polinomialnoyi regresiyi buv opublikovanij nim za tri roki do togo Bill Kuper zaproponuvav logistichnu regresiyu dlya tiyeyi zh meti v 1992 roci i vikoristav yiyi z doslidnickoyu grupoyu u Berkli dlya pidgotovki uspishnoyi funkciyi ranzhuvannya dlya en Manning et al pripuskayut sho ci ranni roboti dosyagli obmezhenih rezultativ svogo chasu cherez neveliku kilkist dostupnih navchalnih danih i slabkij rozvitok metodiv mashinnogo navchannya Kilka konferencij takih yak en en i en mali seminari prisvyacheni problemi navchannya ranzhuvannya pochinayuchi z seredini pershogo desyatilittya 2000 h rokiv Praktichne vikoristannya poshukovimi sistemami Komercijni vebposhukovi sistemi pochali vikoristovuvati sistemi mashinnogo navchannya ranzhuvannya z pershogo desyatilittya 2000 h rokiv Odna z pershih poshukovih sistem yaka pochala ce vikoristovuvati bula AltaVista piznishe tehnologiya bula pridbana en a potim Yahoo yaka pochala navchati funkciyi ranzhuvannya metodom en v kvitni 2003 roku Poshukova sistema Bing yak povidomlyayetsya pracyuye za algoritmom RankNet 9 grudnya 2018 u Wayback Machine yakij buv vinajdenij u doslidzhenni Microsoft v 2005 roci U listopadi 2009 roku rosijskij poshukovij servis Yandeks ogolosiv sho znachno zbilshiv yakist poshuku za rahunok rozgortannya novogo vlasnogo algoritmu en variantu metodu en yakij vikoristovuye nevidomi dereva rishen 2009 roku voni takozh vistupili sponsorom konkursu MNR Internet Mathematics 2009 na osnovi vlasnih danih yih poshukovoyi sistemi Yahoo ogoloshuvala analogichnij konkurs u 2010 roci U 2008 roci Piter Norvig z Google zaperechuvav sho yih poshukova sistema spirayetsya suto na MNR Generalnij direktor Cuil Tom Kostello pripuskaye sho voni viddayut perevagu modelyam stvorenim vruchnu tomu sho voni mozhut perevershuvati modeli otrimani za dopomogoyu mashinnogo navchannya yaksho vimiryuyutsya za pokaznikami takimi yak chastota perehodiv abo chas na provedenij cilovij storinci sho ye prichinoyu togo sho algoritmi MNR diznayutsya sho lyudi kazhut sho yim podobayetsya a ne te sho lyudyam podobayetsya naspravdi U sichni 2017 roku cya tehnologiya bula vklyuchena v poshukovij rushij z vidkritim vihidnim kodom Apache Solr tim samim MNR stav shiroko dostupnim PrimitkiTie Yan Liu 2009 Learning to Rank for Information Retrieval Foundations and Trends in Information Retrieval t 3 3 s 225 331 doi 10 1561 1500000016 ISBN 978 1 60198 244 5 Slajdi dopovidi Taj Yan Liu na konferenciyi en 2009 dostupni onlajn 8 serpnya 2017 u Wayback Machine Afshin Rostamizadeh Ameet Talwalkar 2012 Foundations of Machine Learning The MIT Press ISBN 9780262018258 Joachims T 2002 PDF Proceedings of the ACM Conference on Knowledge Discovery and Data Mining arhiv originalu PDF za 29 grudnya 2009 procitovano 11 travnya 2019 Joachims T Radlinski F 2005 PDF Proceedings of the ACM Conference on Knowledge Discovery and Data Mining arhiv originalu PDF za 27 lipnya 2011 procitovano 11 travnya 2019 B Cambazoglu H Zaragoza O Chapelle J Chen C Liao Z Zheng J Degenhardt PDF WSDM 10 Proceedings of the Third ACM International Conference on Web Search and Data Mining 2010 arhiv originalu PDF za 28 serpnya 2019 procitovano 11 travnya 2019 Broder A Carmel D Herscovici M Soffer A Zien J 2003 PDF Proceedings of the Twelfth International Conference on Information and Knowledge Management 426 434 ISBN 978 1 58113 723 1 arhiv originalu PDF za 21 travnya 2009 procitovano 11 travnya 2019 Manning C Raghavan P Schutze H 2008 Introduction to Information Retrieval Cambridge University Press Section 7 1 19 lipnya 2009 u Wayback Machine Kevin K Duh 2009 PDF arhiv originalu PDF za 20 lipnya 2011 procitovano 11 travnya 2019 Yuanhua Lv Taesup Moon Pranam Kolari Zhaohui Zheng Xuanhui Wang and Yi Chang Learning to Model Relatedness for News Recommendation 2011 08 27 u Wayback Machine in International Conference on World Wide Web WWW 2011 Xuan Jifeng Monperrus Martin 2014 Learning to Combine Multiple Ranking Metrics for Fault Localization 2014 IEEE International Conference on Software Maintenance and Evolution s 191 200 doi 10 1109 ICSME 2014 41 ISBN 978 1 4799 6146 7 Richardson M Prakash A Brill E 2006 PDF Proceedings of the 15th International World Wide Web Conference s 707 715 Arhiv originalu PDF za 15 serpnya 2009 PDF Arhiv originalu PDF za 9 kvitnya 2016 Procitovano 11 travnya 2019 Arhiv originalu za 4 sichnya 2011 Procitovano 11 travnya 2019 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Obslugovuvannya CS1 Storinki z tekstom archived copy yak znachennya parametru title posilannya Olivier Chapelle Donald Metzler Ya Zhang Pierre Grinspan 2009 PDF CIKM arhiv originalu PDF za 24 lyutogo 2012 Gulin A Karpovich P Raskovalov D Segalovich I 2009 PDF Proceedings of ROMIP 2009 163 168 arhiv originalu PDF za 22 listopada 2009 procitovano 11 travnya 2019 ros Tax Niek Bockting Sander Hiemstra Djoerd 2015 PDF Information Processing amp Management 51 6 757 772 doi 10 1016 j ipm 2015 07 002 arhiv originalu PDF za 9 serpnya 2017 procitovano 11 travnya 2019 Fuhr Norbert 1989 Optimum polynomial retrieval functions based on the probability ranking principle ACM Transactions on Information Systems 7 3 183 204 doi 10 1145 65943 65944 Cooper William S Gey Frederic C Dabney Daniel P 1992 Probabilistic retrieval based on staged logistic regression SIGIR 92 Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval 198 210 doi 10 1145 133160 133199 ISBN 978 0897915236 Pranking CiteSeerX 10 1 1 20 378 RankGP CiteSeerX 10 1 1 90 220 Pahikkala Tapio Tsivtsivadze Evgeni Airola Antti Jarvinen Jouni Boberg Jorma 2009 An efficient algorithm for learning to rank from preference graphs Machine Learning 75 1 129 165 doi 10 1007 s10994 008 5097 z C Burges 2010 From RankNet to LambdaRank to LambdaMART An Overview 10 listopada 2017 u Wayback Machine Rong Jin Hamed Valizadegan Hang Li Ranking Refinement and Its Application for Information Retrieval 6 kvitnya 2012 u Wayback Machine in International Conference on World Wide Web WWW 2008 Massih Reza Amini Vinh Truong Cyril Goutte A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Labeled Data 2010 08 02 u Wayback Machine International ACM SIGIR conference 2008 Kod 2010 07 23 u Wayback Machine dostupnij dlya doslidnickih cilej Leonardo Rigutini Tiziano Papini Marco Maggini Franco Scarselli SortNet learning to rank by a neural based sorting algorithm 25 listopada 2011 u Wayback Machine SIGIR 2008 workshop Learning to Rank for Information Retrieval 2008 Hamed Valizadegan Rong Jin Ruofei Zhang Jianchang Mao Learning to Rank by Optimizing NDCG Measure 6 kvitnya 2012 u Wayback Machine v Proceeding of Neural Information Processing Systems NIPS 2010 Fuhr Norbert 1992 Probabilistic Models in Information Retrieval Computer Journal 35 3 243 255 doi 10 1093 comjnl 35 3 243 Manning C Raghavan P Schutze H 2008 Introduction to Information Retrieval Cambridge University Press Sections 7 4 21 lipnya 2009 u Wayback Machine and 15 5 9 travnya 2010 u Wayback Machine Jan O Pedersen The MLR Story 2011 07 13 u Wayback Machine U S Patent 7 197 497 Arhiv originalu za 25 listopada 2009 Procitovano 11 travnya 2019 Yandex corporate blog entry about new ranking model Snezhinsk 1 bereznya 2012 u Wayback Machine ros Algoritm ne rozgoloshuvavsya ale deyaki detali buli oprilyudneni v 1 1 chervnya 2010 u Wayback Machine ta 2 1 chervnya 2010 u Wayback Machine Arhiv originalu za 17 bereznya 2015 Procitovano 11 travnya 2019 Arhiv originalu za 1 bereznya 2010 Procitovano 26 lyutogo 2010 24 travnya 2008 Are Machine Learned Models Prone to Catastrophic Errors Arhiv originalu za 18 veresnya 2010 Procitovano 11 listopada 2009 Costello Tom 26 chervnya 2009 Cuil Blog So how is Bing doing Arhiv originalu za 27 chervnya 2009 Tech at Bloomberg amer 23 sichnya 2017 Arhiv originalu za 1 bereznya 2017 Procitovano 28 lyutogo 2017 Spisok literaturiPosilannyaKonkursi ta vidkriti bazi danih LETOR Kontrolnij zbirnik dlya doslidzhen z vivchennya ranzhuvannya dlya poshuku informaciyi 15 lyutogo 2019 u Wayback Machine Nabori danih Microsoft dlya navchannya 27 travnya 2016 u Wayback Machine Z vidkritim vihidnim kodom Paralelna C MPI realizaciya gradiyentnih regresijnih derev dlya ranzhuvannya vipushenih u veresni 2011 roku 25 zhovtnya 2020 u Wayback Machine C realizaciya gradiyentnih derev regresiyi ta vipadkovih lisiv dlya ranzhuvannya 7 zhovtnya 2020 u Wayback Machine C ta instrumenti Python dlya vikoristannya algoritmu SVM Rank 28 zhovtnya 2016 u Wayback Machine Java realizaciya v poshukovij sistemi Apache Solr

Дата публікації:
Топ