В математичній оптимізації, «мета-оптимізація» — це використання одного методу оптимізації аби налаштувати інший метод оптимізації. Одне з перших використань мета-оптимізації було наприкінці 1970х в роботі Мерсера та Сампсона, задля знаходження оптимальних параметрів генетичного алгоритму.
В літературі мета-оптимізація та суміжні концепції відомі, як мета-еволюція, супер-оптимізація, автоматизоване калібрування параметрів, гіпер-евристика і.т.д.
Мотивація
Такі методи оптимізації як генетичний алгоритм та диференціальна еволюція мають декілька параметрів, що керують їх поведінкою та ефективністю в оптимізації даної задачі. Ці параметри мають бути вибраними людиною щоб досягти задовільних результатів.
Параметри поведінки оптимізатора можуть варіюватися й ефективність оптимізації зображується у вигляді графіку. Такий підхід є обчислювально прийнятним за умов, що число параметрів оптимізації є невеликим та задача оптимізації легко обчислюється. Проте коли число параметрів збільшується, час на розрахунок оптимальних параметрів росте експоненційно. Ця проблема є прокляттям розмірності для простору параметрів поведінки оптимізатора, тому необхідно шукати більш ефективні алгоритми пошуку мета-параметрів.
Методи
Простий спосіб знаходження параметрів оптимізатора — імплементація нового оптимізатора, так званого мета-оптимізатора, над параметрами початкового оптимізатора. Є декілька різних підходів до застосування імплементації цього залежно від типу параметрів поведінки (дійсні, дискретні параметри) та функції обчислення ефективності.
Метаоптимізація параметрів генетичного алгоритму була виконана Грефенштеттом і Кіном та іншими дослідниками, а експерименти з метаоптимізацією, як параметрів, так і генетичних операторів були описані Беком. Метаоптимізація алгоритму COMPLEX-RF була виконана Крусом і Андерсоном і, де був введений і відбувся подальший розвиток індексу ефективності оптимізації на основі теорії інформації. Метаоптимізація оптимізації роїв часток була виконана Мейснером та ін., Педерсеном і Чіпперфілдом і Мейсоном та ін.. Педерсен і Чіпперфільд застосували метаоптимізацію до диференціальної еволюції. Біраттарі та інші виконали метаоптимізацію оптимізації мурашиного алгоритму. Статистичні моделі також використовувалися, щоб дізнатися більше про зв'язок вибору параметрів поведінки та ефективності оптимізації, див., наприклад, Франсуа та Лаверня та Наннена та Ейбена. Сміт і Ейбен провели порівняння різних методів метаоптимізації.
Див. також
- Автоматизоване машинне навчання (AutoML)
- [en]
Примітки
- Mercer, R.E.; Sampson, J.R. (1978). Adaptive search using a reproductive metaplan. Kybernetes. 7 (3): 215—228. doi:10.1108/eb005486.
- Grefenstette, J.J. (1986). Optimization of control parameters for genetic algorithms. IEEE Transactions on Systems, Man, and Cybernetics. 16 (1): 122—128. doi:10.1109/TSMC.1986.289288. S2CID 23313487.
- Keane, A.J. (1995). Genetic algorithm optimization in multi-peak problems: studies in convergence and robustness. Artificial Intelligence in Engineering. 9 (2): 75—83. doi:10.1016/0954-1810(95)95751-Q.
- Bäck, T. (1994). Parallel optimization of evolutionary algorithms. Proceedings of the International Conference on Evolutionary Computation. с. 418—427.
- Krus, PK.; Andersson (Ölvander), J. (2003). Optimizing optimization for design optimization. Proceedings of DETC’03 2003 ASME Design Engineering Technical Conferences and Computers and Information in Engineering Conference Chicago, Illinois, USA.
- Krus, PK.; Ölvander(Andersson), J. (2013). Performance index and meta-optimization of a direct search optimization method (PDF). Engineering Optimization. 45 (10): 1167—1185. Bibcode:2013EnOp...45.1167K. doi:10.1080/0305215X.2012.725052. S2CID 62731978.
- Meissner, M.; Schmuker, M.; Schneider, G. (2006). Optimized Particle Swarm Optimization (OPSO) and its application to artificial neural network training. BMC Bioinformatics. 7 (1): 125. doi:10.1186/1471-2105-7-125. PMC 1464136. PMID 16529661.
{{}}
: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () - Pedersen, M.E.H.; Chipperfield, A.J. (2010). Simplifying particle swarm optimization. Applied Soft Computing. 10 (2): 618—628. CiteSeerX 10.1.1.149.8300. doi:10.1016/j.asoc.2009.08.029.
- Mason, Karl; Duggan, Jim; Howley, Enda (2018). A Meta Optimisation Analysis of Particle Swarm Optimisation Velocity Update Equations for Watershed Management Learning. Applied Soft Computing. 62: 148—161. doi:10.1016/j.asoc.2017.10.018.
- Pedersen, M.E.H. (2010). (PDF) (PhD thesis). University of Southampton, School of Engineering Sciences, Computational Engineering and Design Group. S2CID 107805461. Архів оригіналу (PDF) за 13 лютого 2020.
- Birattari, M.; Stützle, T.; Paquete, L.; Varrentrapp, K. (2002). A racing algorithm for configuring metaheuristics. Proceedings of the Genetic and Evolutionary Computation Conference (GECCO). с. 11—18.
- Birattari, M. (2004). The Problem of Tuning Metaheuristics as Seen from a Machine Learning Perspective (PDF) (PhD thesis). Université Libre de Bruxelles.
- Francois, O.; Lavergne, C. (2001). Design of evolutionary algorithms - a statistical perspective. IEEE Transactions on Evolutionary Computation. 5 (2): 129—148. doi:10.1109/4235.918434.
- Nannen, V.; Eiben, A.E. (2006). A method for parameter calibration and relevance estimation in evolutionary algorithms (PDF). Proceedings of the 8th Annual Conference on Genetic and Evolutionary Computation (GECCO). с. 183—190.
- Smit, S.K.; Eiben, A.E. (2009). Comparing parameter tuning methods for evolutionary algorithms (PDF). Proceedings of the IEEE Congress on Evolutionary Computation (CEC). с. 399—406.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
V matematichnij optimizaciyi meta optimizaciya ce vikoristannya odnogo metodu optimizaciyi abi nalashtuvati inshij metod optimizaciyi Odne z pershih vikoristan meta optimizaciyi bulo naprikinci 1970h v roboti Mersera ta Sampsona zadlya znahodzhennya optimalnih parametriv genetichnogo algoritmu Koncepciya metaoptimizaciyi V literaturi meta optimizaciya ta sumizhni koncepciyi vidomi yak meta evolyuciya super optimizaciya avtomatizovane kalibruvannya parametriv giper evristika i t d MotivaciyaLandshaft produktivnosti dlya diferencialnoyi evolyuciyi Taki metodi optimizaciyi yak genetichnij algoritm ta diferencialna evolyuciya mayut dekilka parametriv sho keruyut yih povedinkoyu ta efektivnistyu v optimizaciyi danoyi zadachi Ci parametri mayut buti vibranimi lyudinoyu shob dosyagti zadovilnih rezultativ Parametri povedinki optimizatora mozhut variyuvatisya j efektivnist optimizaciyi zobrazhuyetsya u viglyadi grafiku Takij pidhid ye obchislyuvalno prijnyatnim za umov sho chislo parametriv optimizaciyi ye nevelikim ta zadacha optimizaciyi legko obchislyuyetsya Prote koli chislo parametriv zbilshuyetsya chas na rozrahunok optimalnih parametriv roste eksponencijno Cya problema ye proklyattyam rozmirnosti dlya prostoru parametriv povedinki optimizatora tomu neobhidno shukati bilsh efektivni algoritmi poshuku meta parametriv MetodiMetaoptimizaciya diferencialnoyi evolyuciyi Prostij sposib znahodzhennya parametriv optimizatora implementaciya novogo optimizatora tak zvanogo meta optimizatora nad parametrami pochatkovogo optimizatora Ye dekilka riznih pidhodiv do zastosuvannya implementaciyi cogo zalezhno vid tipu parametriv povedinki dijsni diskretni parametri ta funkciyi obchislennya efektivnosti Metaoptimizaciya parametriv genetichnogo algoritmu bula vikonana Grefenshtettom i Kinom ta inshimi doslidnikami a eksperimenti z metaoptimizaciyeyu yak parametriv tak i genetichnih operatoriv buli opisani Bekom Metaoptimizaciya algoritmu COMPLEX RF bula vikonana Krusom i Andersonom i de buv vvedenij i vidbuvsya podalshij rozvitok indeksu efektivnosti optimizaciyi na osnovi teoriyi informaciyi Metaoptimizaciya optimizaciyi royiv chastok bula vikonana Mejsnerom ta in Pedersenom i Chipperfildom i Mejsonom ta in Pedersen i Chipperfild zastosuvali metaoptimizaciyu do diferencialnoyi evolyuciyi Birattari ta inshi vikonali metaoptimizaciyu optimizaciyi murashinogo algoritmu Statistichni modeli takozh vikoristovuvalisya shob diznatisya bilshe pro zv yazok viboru parametriv povedinki ta efektivnosti optimizaciyi div napriklad Fransua ta Lavernya ta Nannena ta Ejbena Smit i Ejben proveli porivnyannya riznih metodiv metaoptimizaciyi Div takozhAvtomatizovane mashinne navchannya AutoML en PrimitkiMercer R E Sampson J R 1978 Adaptive search using a reproductive metaplan Kybernetes 7 3 215 228 doi 10 1108 eb005486 Grefenstette J J 1986 Optimization of control parameters for genetic algorithms IEEE Transactions on Systems Man and Cybernetics 16 1 122 128 doi 10 1109 TSMC 1986 289288 S2CID 23313487 Keane A J 1995 Genetic algorithm optimization in multi peak problems studies in convergence and robustness Artificial Intelligence in Engineering 9 2 75 83 doi 10 1016 0954 1810 95 95751 Q Back T 1994 Parallel optimization of evolutionary algorithms Proceedings of the International Conference on Evolutionary Computation s 418 427 Krus PK Andersson Olvander J 2003 Optimizing optimization for design optimization Proceedings of DETC 03 2003 ASME Design Engineering Technical Conferences and Computers and Information in Engineering Conference Chicago Illinois USA Krus PK Olvander Andersson J 2013 Performance index and meta optimization of a direct search optimization method PDF Engineering Optimization 45 10 1167 1185 Bibcode 2013EnOp 45 1167K doi 10 1080 0305215X 2012 725052 S2CID 62731978 Meissner M Schmuker M Schneider G 2006 Optimized Particle Swarm Optimization OPSO and its application to artificial neural network training BMC Bioinformatics 7 1 125 doi 10 1186 1471 2105 7 125 PMC 1464136 PMID 16529661 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya Pedersen M E H Chipperfield A J 2010 Simplifying particle swarm optimization Applied Soft Computing 10 2 618 628 CiteSeerX 10 1 1 149 8300 doi 10 1016 j asoc 2009 08 029 Mason Karl Duggan Jim Howley Enda 2018 A Meta Optimisation Analysis of Particle Swarm Optimisation Velocity Update Equations for Watershed Management Learning Applied Soft Computing 62 148 161 doi 10 1016 j asoc 2017 10 018 Pedersen M E H 2010 PDF PhD thesis University of Southampton School of Engineering Sciences Computational Engineering and Design Group S2CID 107805461 Arhiv originalu PDF za 13 lyutogo 2020 Birattari M Stutzle T Paquete L Varrentrapp K 2002 A racing algorithm for configuring metaheuristics Proceedings of the Genetic and Evolutionary Computation Conference GECCO s 11 18 Birattari M 2004 The Problem of Tuning Metaheuristics as Seen from a Machine Learning Perspective PDF PhD thesis Universite Libre de Bruxelles Francois O Lavergne C 2001 Design of evolutionary algorithms a statistical perspective IEEE Transactions on Evolutionary Computation 5 2 129 148 doi 10 1109 4235 918434 Nannen V Eiben A E 2006 A method for parameter calibration and relevance estimation in evolutionary algorithms PDF Proceedings of the 8th Annual Conference on Genetic and Evolutionary Computation GECCO s 183 190 Smit S K Eiben A E 2009 Comparing parameter tuning methods for evolutionary algorithms PDF Proceedings of the IEEE Congress on Evolutionary Computation CEC s 399 406