Глобальна оптимізація

Глобальна оптимізація — це розділ прикладної математики та числового аналізу, який намагається знайти глобальні мінімуми або максимуми функції або множини функцій на заданій множині. Зазвичай це описується як проблема мінімізації, оскільки максимізація дійсної функції ${\displaystyle g(x)}$ еквівалентна мінімізації функції ${\displaystyle f(x):=-g(x)}$.

Приклади екстремумів

Дано нелінійну та невипуклу неперервну функцію ${\displaystyle f:\Omega \subset \mathbb {R} ^{n}\to \mathbb {R} }$ з глобальними мінімумами ${\displaystyle f^{*}}$ і множина усіх глобальних мінімізаторів ${\displaystyle X^{*}}$ в ${\displaystyle \Omega }$, стандартну задачу мінімізації можна подати як

${\displaystyle \min _{x\in \Omega }f(x),}$

тобто знаходження ${\displaystyle f^{*}}$ і глобальний мінімізатор в ${\displaystyle X^{*}}$; де ${\displaystyle \Omega }$ є (не обов'язково опуклою) компактною множиною, визначеною нерівностями ${\displaystyle g_{i}(x)\geqslant 0,i=1,\ldots ,r}$.

Глобальна оптимізація відрізняється від локальної оптимізації тим, що вона зосереджена на пошуку мінімуму або максимуму над заданою множиною, на відміну від пошуку локальних мінімумів або максимумів. Знайти довільний локальний мінімум відносно просто за допомогою класичних методів локальної оптимізації. Знайти глобальний мінімум функції набагато складніше: аналітичні методи не завжди можна застосовати, а використання підходів чисельного розв'язання часто призводить до дуже складних обчислювальних завдань.

Загальна теорія

Сучасний підхід до проблеми глобальної оптимізації полягає в розподілі мінімумів. Далі продемонструємо зв'язок між будь-якою безперервною функцією ${\displaystyle f}$ на компактній множині ${\displaystyle \Omega \subset \mathbb {R} ^{n}}$ і її глобальними мінімумами ${\displaystyle f^{*}}$. Як типовий випадок, з цього випливає, що

${\displaystyle \lim _{k\to \infty }\int _{\Omega }f(x)m^{(k)}(x)\,\mathrm {d} x=f^{*},~~{\text{де}}~~m^{(k)}(x)={\frac {e^{-kf(x)}}{\int _{\Omega }e^{-kf(x)}\,\mathrm {d} x}};}$

тим часом,

${\displaystyle \lim _{k\to \infty }m^{(k)}(x)=\left\{{\begin{array}{cl}{\frac {1}{\mu (X^{*})}},&x\in X^{*},\\0,&x\in \Omega -X^{*},\end{array}}\right.}$

де ${\displaystyle \mu (X^{*})}$ — це ${\displaystyle n}$-вимірна міра Лебега множини мінімізаторів ${\displaystyle X^{*}\in \Omega }$. І якщо ${\displaystyle f}$ не є постійною на ${\displaystyle \Omega }$, монотонні нерівності

${\displaystyle \int _{\Omega }f(x)m^{(k)}(x)\,\mathrm {d} x>\int _{\Omega }f(x)m^{(k+\Delta k)}(x)\,\mathrm {d} x>f^{*}}$

виконуються для всіх ${\displaystyle k\in \mathbb {R} }$ і ${\displaystyle \Delta k>0}$, що передбачає низку монотонних включень, і одним із них є, наприклад,

${\displaystyle \Omega \supset D_{f}^{(k)}\supset D_{f}^{(k+\Delta k)}\supset X^{*},{\text{ де }}D_{f}^{(k)}=\left\{x\in \Omega :f(x)\leqslant \int _{\Omega }f(t)m^{(k)}(t)\,\mathrm {d} t\right\}.}$

Далі визначаємо розподіл мінімумів як слабку межу ${\displaystyle m_{f,\Omega }}$ таку, що тотожність

${\displaystyle \int _{\Omega }m_{f,\Omega }(x)\varphi (x)\,\mathrm {d} x=\lim _{k\to \infty }\int _{\Omega }m^{(k)}(x)\varphi (x)\,\mathrm {d} x}$

виконується для кожної гладкої функції ${\displaystyle \varphi }$ з компактним носієм в ${\displaystyle \Omega }$. Ось дві безпосередні властивості ${\displaystyle m_{f,\Omega }}$:

1. ${\displaystyle m_{f,\Omega }}$ задовольняє тотожності ${\displaystyle \int _{\Omega }m_{f,\Omega }(x)\,\mathrm {d} x=1}$.
2. Якщо ${\displaystyle f}$ є неперервною на ${\displaystyle \Omega }$, то ${\displaystyle f^{*}=\int _{\Omega }f(x)m_{f,\Omega }(x)\,\mathrm {d} x}$.

Для порівняння, добре відомо, що зв'язок між будь-якою диференційованою опуклою функцією та її мінімумами строго встановлюється за допомогою градієнта. Якщо ${\displaystyle f}$ диференційована на опуклій множині ${\displaystyle D}$, то ${\displaystyle f}$ є опуклою тоді і тільки тоді, коли

${\displaystyle f(y)\geqslant f(x)+\nabla f(x)(y-x),~~\forall x,y\in D;}$

таким чином, ${\displaystyle \nabla f(x^{*})=0}$ означає, що ${\displaystyle f(y)\geqslant f(x^{*})}$ виконується для всіх ${\displaystyle y\in D}$, тобто ${\displaystyle x^{*}}$ є глобальним мінімізатором ${\displaystyle f}$ на ${\displaystyle D}$.

Застосування

Типові приклади застосування глобальної оптимізації включають:

• Передбачення структури білка (мінімізація функції енергії/вільної енергії)
• ^[en] (наприклад, мінімізація кількості перетворень символів у дереві)
• Задача комівояжера та побудова електричної схеми (мінімізація довжини шляху)
• Хімічна інженерія (наприклад, аналіз енергії Гіббса)
• Перевірка безпеки, техніка безпеки (наприклад, механічних конструкцій, будівель)
• Аналіз найгіршого випадку для алгоритмів
• Математичні задачі (наприклад, гіпотеза Кеплера)
• Задача пакування (розробки конфігурації) об'єктів
• Початковою точкою кількох симуляцій молекулярної динаміки є початкова оптимізація енергії системи, що моделюється
• Спінове скло
• Калібрування моделей розповсюдження радіохвиль і багатьох інших моделей у науці та техніці
• ^[en], як аналіз ^[en] та інші узагальнення, які використовуються для допасовування параметрів моделі до експериментальних даних у хімії, фізиці, біології, економіці, фінансах, медицині, астрономії, інженерії
• Планування променевої терапії.

Детерміновані методи

Докладніше: ^[en]

Найуспішніші загальні точні стратегії:

Внутрішня і зовнішня апроксимація

В обох цих стратегіях множина, над якою функція повинна бути оптимізована, апроксимується многогранниками. У внутрішньому наближенні багатогранники містяться в множині, тоді як у зовнішньому наближенні багатогранники містять множину.

Методи січних площин

Докладніше: ^[en]

Метод січних площин — це загальний термін для методів оптимізації, які ітеративно уточнюють можливу множина або цільову функцію за допомогою лінійних нерівностей, які називаються перерізами. Такі процедури широко використовуються для пошуку цілочисельних розв'язків задач змішаного цілочисельного лінійного програмування, а також для вирішення загальних, не обов'язково диференційованих задач опуклої оптимізації. Використання січних площин для вирішення задач змішаного цілочисельного лінійного програмування було введено ^[en] та Вацлавом Хваталом.

Методи гілок і меж

Докладніше: Метод гілок і меж

Метод гілок і меж — це парадигма розробки алгоритму для задач дискретної та комбінаторної оптимізації. Алгоритм складається з систематичного перебору варіантів рішень за допомогою ^[en]: множина можливих рішень утворює дерево, яке містить всі можливі розв'язки у корені. Алгоритм досліджує гілки цього дерева, які представляють підмножини множини рішень. Перед тим як розглядати можливі варіанти розв'язків гілки, виконують перевірку гілки на верхню та нижню оцінку оптимального розв'язку. Якщо перевірка показує, що гілка не може дати кращого розв'язку, ніж найкращий розв'язок, вже знайдений на поточний момент алгоритмом, то гілка пропускається.

Інтервальні методи

Докладніше: Інтервальна арифметика

Інтервальна арифметика, інтервальна математика, інтервальний аналіз або інтервальне числення — це метод, розроблений математиками в 1960-х роках як підхід до встановлення обмежень на похибки округлення та вимірювання в математичних обчисленнях і, таким чином, для розробки чисельних методів, які дають надійні результати. Інтервальна арифметика допомагає знаходити надійні та гарантовані рішення рівнянь і задач оптимізації.

Методи, засновані на дійсній алгебричній геометрії

Докладніше: ^[en]

Дійсна алгебра — це частина алгебри, яка має відношення до дійсної алгебричної (і напівалгебричної) геометрії. В цілому вона стосується вивчення впорядкованих полів і впорядкованих кілець (зокрема алгебрично замкнутих полів) та їх застосування до вивчення ^[en] і ^[en]. Його можна використовувати для опуклої оптимізації.

Стохастичні методи

Докладніше: Стохастична оптимізація

Існує кілька точних або неточних алгоритмів на основі Монте-Карло:

Прямий вибірковий метод Монте-Карло

Докладніше: Метод Монте-Карло

У цьому методі для пошуку наближеного розв'язку використовується випадкове моделювання.

Приклад: задача комівояжера називається класичною задачею оптимізації. Тобто всі факти (відстані між кожною точкою призначення), необхідні для визначення оптимального шляху, відомі, і мета полягає в тому, щоб переглянути можливі варіанти подорожей, щоб знайти той, який має найменшу загальну відстань. Однак припустімо, що замість того, щоб мінімізувати загальну відстань, пройдену для відвідування кожного бажаного пункту призначення, ми хотіли мінімізувати загальний час, необхідний для досягнення кожного пункту призначення. Це виходить за рамки традиційної оптимізації, оскільки час у дорозі за своєю суттю є невизначеним (пробки, час доби, тощо). Як наслідок, щоб визначити наш оптимальний шлях, ми хотіли б використати симуляцію — оптимізацію, щоб спочатку зрозуміти діапазон потенційного часу, який може знадобитися для переходу від однієї точки до іншої (у цьому випадку представлений розподілом ймовірностей, а не конкретною відстанню), а потім оптимізувати наші рішення про подорожі, щоб визначити найкращий шлях, яким слід слідувати, враховуючи цю невизначеність.

Стохастичне тунелювання

Докладніше: ^[en]

Стохастичне тунелювання — це підхід до глобальної оптимізації, заснований на методі Монте-Карло — вибірка функції, яка об'єктивно мінімізується, у якій функція нелінійно перетворюється, щоб полегшити тунелювання між областями, що містять мінімуми функції. Просте тунелювання дозволяє швидше досліджувати простір зразків і забезпечує більш швидку збіжність до оптимального рішення.

Паралельний відпуск

Докладніше: ^[en]

Паралельний відпуск — це метод моделювання, спрямований на покращення динамічних властивостей моделювання фізичних систем методом Монте-Карло та методів Монте-Карло марковських ланцюгів (МКМЛ) загалом. Метод обміну копіями спочатку був розроблений ^[en], потім розширений Гейєром і пізніше розроблений Джорджіо Парізі. Сугіта та Окамото сформулювали молекулярно-динамічну версію паралельного відпуска — це зазвичай відомо як молекулярна динаміка обміну репліками.

По суті, запускається N копій системи, випадково ініціалізованих, при різних температурах. Потім на основі критерію Метрополіса відбувається обмін конфігураціями при різних температурах. Ідея цього методу полягає в тому, щоб зробити конфігурації при високих температурах доступними для моделювання при низьких температурах і навпаки. Це призводить до дуже надійного ансамблю, який здатний відбирати як низькоенергетичні, так і високоенергетичні конфігурації. Таким чином, такі термодинамічні властивості, як питома теплоємність, яка, як правило, погано обчислюється в канонічному ансамблі, можуть бути обчислені з високою точністю.

Евристика та метаевристика

Докладніше: Метаевристика

Інші підходи включають евристичні стратегії пошуку в просторі пошуку більш-менш інтелектуальним способом, включаючи:

• Мурашиний алгоритм
• Імітація відпалу, загальна імовірнісна метаевристика
• Табу-пошук — розширення локального пошуку, здатне виходити з локальних мінімумів
• Еволюційні алгоритми (наприклад, генетичні алгоритми та еволюційні стратегії)
• Диференціальна еволюція — метод, який оптимізує проблему шляхом повторних спроб покращити простір пошуку з огляду на задану міру якості
• Алгоритми колективного інтелекту (наприклад, оптимізація роїв часток, бджолиний алгоритм, соціальна когнітивна оптимізація і оптимізація мурашиних колоній)
• ^[en], що поєднують глобальні та локальні стратегії пошуку
• Реактивний пошук (тобто інтеграція підсимвольних методів машинного навчання в евристику пошуку)
• ^[en] — метод, який для розв'язання складної задачі оптимізації спочатку розв'язує значно спрощену задачу та поступово перетворює цю задачу (під час оптимізації), поки вона не стане еквівалентною складній задачі оптимізації.

Підходи, засновані на методології поверхні відгуку

• ^[en]
• Баєсова оптимізація, стратегія послідовного проектування для глобальної оптимізації функцій чорної скриньки з використанням байєсової статистики

Див. також

• ^[en]
• ^[en]
• Багатокритеріальна оптимізація
• Оптимізація (математика)

Виноски

1. Xiaopeng Luo (2018). Minima distribution for global optimization. arXiv:1812.03457.
2. Swendsen RH and Wang JS (1986) Replica Monte Carlo simulation of spin glasses Physical Review Letters 57 : 2607—2609
3. C. J. Geyer, (1991) in Computing Science and Statistics, Proceedings of the 23rd Symposium on the Interface, American Statistical Association, New York, p. 156.
4. Marco Falcioni and Michael W. Deem (1999). A Biased Monte Carlo Scheme for Zeolite Structure Solution. J. Chem. Phys. 110 (3): 1754—1766. arXiv:cond-mat/9809085. Bibcode:1999JChPh.110.1754F. doi:10.1063/1.477812.
5. David J. Earl and Michael W. Deem (2005) «Parallel tempering: Theory, applications, and new perspectives», Phys. Chem. Chem. Phys., 7, 3910
6. Y. Sugita and Y. Okamoto (1999). Replica-exchange molecular dynamics method for protein folding. Chemical Physics Letters. 314 (1–2): 141—151. Bibcode:1999CPL...314..141S. doi:10.1016/S0009-2614(99)01123-9.
7. Thacker, Neil; Cootes, Tim (1996). Graduated Non-Convexity and Multi-Resolution Optimization Methods. Vision Through Optimization.
8. Hossein Mobahi, John W. Fisher III. On the Link Between Gaussian Homotopy Continuation and Convex Envelopes, In Lecture Notes in Computer Science (EMMCVPR 2015), Springer, 2015.
9. Blake, Andrew; Zisserman, Andrew (17 березня 2003). Visual Reconstruction.
10. Jonas Mockus (2013). Bayesian approach to global optimization: theory and applications. Kluwer Academic.

Список літератури

Детермінована глобальна оптимізація:

• R. Horst, H. Tuy, Global Optimization: Deterministic Approaches, Springer, 1996.
• R. Horst, and N.V. Thoai, Introduction to Global Optimization, Second Edition. Kluwer Academic Publishers, 2000.
• A.Neumaier, Complete Search in Continuous Global Optimization and Constraint Satisfaction, pp. 271—369 in: Acta Numerica 2004 (A. Iserles, ed.), Cambridge University Press 2004.
• M. Mongeau, H. Karsenty, V. Rouzé and J.-B. Hiriart-Urruty, Comparison of public-domain software for black box global optimization. Optimization Methods & Software 13(3), pp. 203–226, 2000.
• J.D. Pintér, Global Optimization in Action — Continuous and Lipschitz Optimization: Algorithms, Implementations and Applications. Kluwer Academic Publishers, Dordrecht, 1996. Now distributed by Springer Science and Business Media, New York. This book also discusses stochastic global optimization methods.
• L. Jaulin, M. Kieffer, O. Didrit, E. Walter (2001). Applied Interval Analysis. Berlin: Springer.
• E.R. Hansen (1992), Global Optimization using Interval Analysis, Marcel Dekker, New York.

Моделювання відпалу:

• Kirkpatrick, S.; Gelatt, C. D.; Vecchi, M. P. (13 травня 1983). Optimization by Simulated Annealing. Science. American Association for the Advancement of Science (AAAS). 220 (4598): 671—680. Bibcode:1983Sci...220..671K. doi:10.1126/science.220.4598.671. ISSN 0036-8075. PMID 17813860. S2CID 205939.

Реактивна пошукова оптимізація:

• , M. Brunato and F. Mascia, Reactive Search and Intelligent Optimization, Operations Research/Computer Science Interfaces Series, Vol. 45, Springer, November 2008.

Стохастичних методи:

• . Theory of Global Random Search. Mathematics and its applications. Kluwer Academic Publishers. 1991.
• Hamacher, K (2006). Adaptation in stochastic tunneling global optimization of complex potential energy landscapes. Europhysics Letters (EPL). IOP Publishing. 74 (6): 944—950. Bibcode:2006EL.....74..944H. doi:10.1209/epl/i2006-10058-0. ISSN 0295-5075.
• Hamacher, K.; Wenzel, W. (1 січня 1999). Scaling behavior of stochastic minimization algorithms in a perfect funnel landscape. Physical Review E. 59 (1): 938—941. arXiv:physics/9810035. Bibcode:1999PhRvE..59..938H. doi:10.1103/physreve.59.938. ISSN 1063-651X. S2CID 119096368.
• Wenzel, W.; Hamacher, K. (12 квітня 1999). Stochastic Tunneling Approach for Global Minimization of Complex Potential Energy Landscapes. Physical Review Letters. American Physical Society (APS). 82 (15): 3003—3007. arXiv:physics/9903008. Bibcode:1999PhRvL..82.3003W. doi:10.1103/physrevlett.82.3003. ISSN 0031-9007. S2CID 5113626.

Паралельний відпуск:

• Hansmann, Ulrich H.E. (1997). Parallel tempering algorithm for conformational studies of biological molecules. Chemical Physics Letters. Elsevier BV. 281 (1–3): 140—150. arXiv:physics/9710041. Bibcode:1997CPL...281..140H. doi:10.1016/s0009-2614(97)01198-6. ISSN 0009-2614. S2CID 14137470.

Методи продовження:

• Zhijun Wu. The effective energy transformation scheme as a special continuation approach to global optimization with application to molecular conformation. Technical Report, Argonne National Lab., IL (United States), November 1996.

Загальні міркування щодо розмірності області визначення цільової функції:

• Hamacher, Kay (2005). On stochastic global optimization of one-dimensional functions. Physica A: Statistical Mechanics and Its Applications. Elsevier BV. 354: 547—557. Bibcode:2005PhyA..354..547H. doi:10.1016/j.physa.2005.02.028. ISSN 0378-4371.

Посилання

• Сторінка А. Ноймаєра про глобальну оптимізацію
• Вступ до глобальної оптимізації Л. Ліберті
• Безкоштовна електронна книга Томаса Вайзе