Приблизне баєсове обчислення

Прибли́зне ба́єсове обчи́слення (ПБО, англ. Approximate Bayesian computation, ABC) складає клас ^[en], що беруть свої корені з баєсової статистики. В усіх методах статистичного висновування на основі моделей центральне значення має функція правдоподібності, оскільки вона виражає ймовірність спостережуваних даних згідно певної статистичної моделі, і таким чином кількісно оцінює дані, що підтримують певні значення параметрів та обирання серед різних моделей. Для простих моделей формулу функції правдоподібності зазвичай може бути виведено аналітично. Однак для складніших моделей аналітична формула може бути невиразною, або оцінка функції правдоподібності може бути дуже витратною обчислювально.

Методи ПБО уникають обчислення функції правдоподібності. Таким чином, методи ПБО розширюють сферу моделей, для яких може розглядатися статистичне висновування. Методи ПБО є математично обґрунтованими, але вони неминуче роблять припущення та наближення, що потребують ретельної оцінки. Крім того, ширша область застосування ПБО посилює проблеми оцінки параметрів та обирання моделі.

Останніми роками ПБО швидко завоювало популярність, зокрема для аналізу складних задач, що виникають в біологічних науках, наприклад, в популяційній генетиці, екології, епідеміології та системній біології.

Історія

Перші ідеї, пов'язані з ПБО, сходять до 1980-х років. ^[en] (англ. Donald Rubin), обговорюючи інтерпретацію баєсових викладів у 1984 році, описав гіпотетичний механізм вибірки, що дає вибірку з апостеріорного розподілу. Ця схема була більше концептуальним уявним експериментом для демонстрації, якого типу маніпуляції здійснюються при отримуванні висновків про апостеріорні розподіли параметрів. Опис цього механізму вибірки в точності збігається зі схемою ПБО-відхилення, і цю статтю можна розглядати як перший опис приблизного баєсового обчислення. Проте двоетапний ^[en] було побудовано Френсісом Гальтоном (англ. Francis Galton) у пізніх 1800-х, що можна побачити як фізичну реалізацію схеми ПБО-відхилення для одного невідомого (параметра) та одного спостереження — див. мал. 5 у S. Stigler 2010. Інше передбачення було зроблено Рубіним, коли він переконував, що прикладні статистики не повинні обмежуватися в баєсовому висновуванні лише тими моделями, що піддаються аналітичній обробці, а натомість розглядати обчислювальні методи, що дозволяють їм оцінювати потрібний апостеріорний розподіл. Таким чином може розглядатися ширший спектр моделей. Ці аргументи є особливо актуальними в контексті ПБО.

У 1984 році ^[en] (англ. Peter Diggle) та Річард Греттон (англ. Richard Gratton) запропонували застосовувати схему систематичної симуляції для наближення функції правдоподібності, коли її аналітична форма є непіддатливою. Їхній метод ґрунтувався на визначенні ґратки в просторі параметрів та використанні її для наближення правдоподібності шляхом виконання декількох симуляцій для кожної з точок ґратки. Наближення потім покращувалося застосуванням згладжувальних прийомів до виходів цих симуляцій. І хоча ідея використання симуляцій для перевірки гіпотез не була новою, Дігл та Греттон, очевидно, запропонували першу процедуру використання симуляції для здійснення статистичного висновування за умов, коли правдоподібність є непіддатливою.

Хоча підхід Дігла та Греттона й відкрив нові обрії, їхній метод не був повністю ідентичним тому, що тепер відоме як ПБО, оскільки його спрямовано на наближення правдоподібності, замість апостеріорного розподілу. Стаття ^[en] (англ. Simon Tavaré) та ін. була першою, в якій було запропоновано алгоритм ПБО для апостеріорного висновування. В їхній новаторській праці розглядалося висновування стосовно генеалогії даних послідовностей ДНК, зокрема задача визначення апостеріорного розподілу часу до останнього спільного предка вибраних особин. Таке висновування є аналітично непіддатливим для багатьох демографічних моделей, але автори представили шляхи симуляції зрощених дерев згідно передбачуваних моделей. Вибірку з апостеріорного розподілу параметрів моделі було отримувано шляхом прийняття/відхилення припущень на підставі порівняння кількості відокремлених популяцій у синтетичних та реальних даних. За цією працею послідувало прикладне дослідження ^[en] (англ. Jonathan K. Pritchard) та ін. моделювання варіацій в людській Y-хромосомі із застосуванням методу ПБО. Нарешті, термін «приблизне баєсове обчислення» започаткували Марк Бомон (англ. Mark Beaumont) та ін., додатково розширивши методологію ПБО, та конкретніше обговоривши придатність підходу ПБО для задач у популяційній генетиці. Відтоді ПБО набуло поширення в застосуваннях за межами популяційної генетики, таких як системна біологія, епідеміологія або ^[en].

Метод

Обґрунтування

Поширене втілення теореми Баєса ставить у відповідність умовну ймовірність (або густину) певного значення параметра ${\displaystyle \theta }$ при заданих даних ${\displaystyle D}$ до ймовірності ${\displaystyle D}$ при заданому ${\displaystyle \theta }$ за правилом:

${\displaystyle p(\theta |D)={\frac {p(D|\theta )p(\theta )}{p(D)}}}$,

де ${\displaystyle p(\theta |D)}$ позначає апостеріорне, ${\displaystyle p(D|\theta )}$ — правдоподібність, ${\displaystyle p(\theta )}$ — апріорне, а ${\displaystyle p(D)}$ — свідчення (що також називають відособленою правдоподібністю, або апріорною передбачуваною правдоподібністю даних).

Апріорне представляє переконання про ${\displaystyle \theta }$ до того, як стало доступним ${\displaystyle D}$, і його часто вказують, обираючи певний розподіл з набору добре відомих та піддатливих сімейств розподілів, так, щоби як обчислення апріорних ймовірностей, так і випадкова генерація значень ${\displaystyle \theta }$ були відносно безпосередніми. Для деяких різновидів моделей прагматичніше вказувати апріорне ${\displaystyle p(\theta )}$, застосовуючи розклад спільного розподілу всіх елементів ${\displaystyle \theta }$ в термінах послідовності їхніх умовних розподілів. Якщо цікавлять лише відносні ймовірності різних значень ${\displaystyle \theta }$, то свідченням ${\displaystyle p(D)}$ можна знехтувати, оскільки воно складає ^[en], що скасовується для будь-якого відношення апостеріорних імовірностей. Залишається, однак, необхідність обрахунку правдоподібності ${\displaystyle p(D|\theta )}$ та апріорного ${\displaystyle p(\theta )}$. Для численних застосувань обрахунок правдоподібності є обчислювально витратним або й зовсім непіддатливим, що спонукає до застосування ПБО для обходу цієї проблеми.

Алгоритм відхилення ПБО

Всі методи на основі ПБО наближують функцію правдоподібності шляхом симуляцій, виходи яких порівнюють зі спостережуваними даними. Конкретніше, в алгоритмі відхилення ПБО, найбазовішій формі ПБО, спочатку вибирається набір точок параметрів з апріорного розподілу. Потім для заданої вибраної точки параметру ${\displaystyle {\hat {\theta }}}$ симулюється набір даних ${\displaystyle {\hat {D}}}$ згідно статистичної моделі ${\displaystyle M}$, визначеної параметрами ${\displaystyle \theta }$. Якщо ці згенеровані ${\displaystyle {\hat {D}}}$ надто відрізняються від спостережуваних даних ${\displaystyle D}$, то вибране значення параметру відхиляється. У точніших термінах, ${\displaystyle {\hat {D}}}$ приймається з допуском ${\displaystyle \epsilon \geq 0}$, якщо:

${\displaystyle \rho ({\hat {D}},D)\leq \epsilon }$,

де міра відстані ${\displaystyle \rho ({\hat {D}},D)}$ визначає рівень розбіжності між ${\displaystyle {\hat {D}}}$ та ${\displaystyle D}$ на основі заданої метрики (наприклад, евклідової відстані). Як правило, потрібен суворо додатній допуск, оскільки ймовірність того, що вихід симуляції точно збіжиться з даними (подія ${\displaystyle {\hat {D}}=D}$) є незначною для всіх застосувань ПБО, крім найпримітивніших, що на практиці вело би до відхилення майже всіх вибраних точок параметрів. Виходом алгоритму відхилення ПБО є вибірка значень параметрів, розподілена приблизно відповідно до бажаного апостеріорного розподілу, та, найголовніше, отримана без потреби явного обчислення функції правдоподібності (мал. 1).

Мал 1. Оцінка параметрів приблизним баєсовим обчисленням: концептуальний огляд

Зведена статистика

Ймовірність генерування набору даних ${\displaystyle {\hat {D}}}$ з малою відстанню до ${\displaystyle D}$ зазвичай зменшується з ростом розмірності даних. Це призводить до суттєвого зменшення обчислювальної ефективності наведеного вище базового алгоритму відхилення ПБО. Загальним підходом до зменшення цієї проблеми є заміна ${\displaystyle D}$ набором зведеної статистики ${\displaystyle S(D)}$ з меншою розмірністю, який обирається таким чином, щоби охопити доречну інформацію в ${\displaystyle D}$. Критерій прийнятності в алгоритмі відхилення ПБО стає таким:

${\displaystyle \rho (S({\hat {D}}),S(D))\leq \epsilon }$.

Якщо зведена статистика є достатньою по відношенню до параметрів моделі ${\displaystyle \theta }$, то отримуване таким чином підвищення ефективності не привносить жодних помилок. Дійсно, за визначенням, достатність означає, що всю інформацію в ${\displaystyle D}$ про ${\displaystyle \theta }$ охоплено в ${\displaystyle S(D)}$.

Як деталізовано нижче, ідентифікувати скінченномірний набір зведеної статистики за межами ^[en] зазвичай неможливо. Тим не менш, у випадках, коли висновування здійснюється методами ПБО, часто застосовуються інформативні, але, можливо, не достатні зведені статистики.

Приклад

Малюнок 2. Динамічна бістабільна прихована марковська модель.

Ілюстративним прикладом є бістабільна система, яку може бути охарактеризовано прихованою марковською моделлю (ПММ) в умовах зашумлених вимірювань (Мал. 2). Такі моделі використовують для багатьох біологічних систем: наприклад, їх можуть застосовувати до еволюції, сигнальних систем клітин, активації/деактивації, логічної обробки та нерівноважної термодинаміки. Наприклад, поведінка фактора транскрипції сигнального білка (англ. Sonic hedgehog, Shh) у чорночеревій дрозофілі може моделюватися за допомогою ПММ. (Біологічна) динамічна модель складається з двох станів: A та B. Якщо ймовірність переходу з одного стану до іншого визначається як ${\displaystyle \theta }$ в обох напрямках, то ймовірністю залишитися в тому ж стані на кожному такті є 1-${\displaystyle \theta }$. Ймовірністю виміряти стан правильно є ${\displaystyle \gamma }$ (і навпаки, ймовірністю неправильного вимірювання є 1-${\displaystyle \gamma }$).

Через умовні залежності між станами в різні моменти часу обчислення правдоподібності даних часових рядів є дещо нудним, що ілюструє спонукання до застосування ПБО. Обчислювальною проблемою для базового ПБО є велика розмірність даних у застосуваннях на кшталт цього. Її може бути зменшено застосуванням зведеної статистики S, що є частотою перемикань між двома станами. Як метрика відстані ${\displaystyle \rho (\cdot ,\cdot )}$ застосовується абсолютна відстань у поєднанні з допуском ${\displaystyle \epsilon =2}$. Апостеріорне висновування стосовно параметра ${\displaystyle \theta }$ може бути здійснено шляхом п'ятьох кроків, представлених на мал. 1:

Крок 1: Припустімо, що спостережувані дані є послідовністю станів AAAABAABBAAAAAABAAAA, що було згенеровано з використанням ${\displaystyle \theta =0.25}$ та ${\displaystyle \gamma =0.8}$. Пов'язаною зведеною статистикою, кількістю перемикань між станами, в експериментальних даних є ${\displaystyle \omega _{E}=6}$.

Крок 2: Виходячи з припущення, що про ${\displaystyle \theta }$ не відомо нічого, застосовується рівномірний апріорний розподіл на проміжку ${\displaystyle [0,1]}$. Параметр ${\displaystyle \gamma }$ вважається відомим та фіксованим у значенні, з яким генерувалися дані (${\displaystyle \gamma =0.8}$), але в загальному випадку його може бути оцінено зі спостережень. З апріорного береться n точок параметрів, і модель симулюється для кожної з точок параметрів ${\displaystyle \theta _{i},i=1,\ldots ,n}$, що дає в результаті ${\displaystyle n}$ послідовностей симульованих даних. В цьому прикладі n=5, а кожен взятий параметр та симульований запис набору даних містяться в стовпчиках 2-3 таблиці 1. На практиці для отримання придатної інформації n повинно бути набагато більшим.

Таблиця 1: Приклад алгоритму відхилення ПБО

i	${\displaystyle \theta _{i}}$	Симульовані набори даних (крок 2)	Зведена статистика ${\displaystyle \omega _{S,i}}$ (крок 3)	Відстань ${\displaystyle \rho (\omega _{S,i},\omega _{E})}$ (крок 4)	Вихід (крок 4)
1	0.08	AABAAAABAABAAABAAAAA	8	2	прийнято
2	0.68	AABBABABAAABBABABBAB	13	7	відхилено
3	0.87	BBBABBABBBBABABBBBBA	9	3	відхилено
4	0.43	AABAAAAABBABBBBBBBBA	6	0	прийнято
5	0.53	ABBBBBAABBABBABAABBB	9	3	відхилено

Крок 3: Зведена статистика обчислюється для кожної послідовності симульованих даних, ${\displaystyle \omega _{S,i},i=1,\ldots ,n}$ (стовпчик 4 таблиці 1).

Крок 4: Відстані між спостережуваними та симульованими послідовностями переходів ${\displaystyle \rho (\omega _{S,i},\omega _{E})=|\omega _{S,i}-\omega _{E}|}$ обчислюються для всіх точок параметрів (стовпчик 5 таблиці 1). Точки параметрів, для яких відстань є меншою або рівною ${\displaystyle \epsilon }$, приймаються як приблизні приклади з апостеріорного (стовпчик 6 таблиці 1).

Малюнок 3. Апостеріорне ${\displaystyle \theta }$, отримане з прикладу (червоне), у порівнянні зі справжнім апостеріорним розподілом (чорний) та симуляціями ПБО з великими n. Використання недостатньої зведеної статистики ${\displaystyle \omega }$ вносить відхилення, навіть за вимоги ${\displaystyle \epsilon =0}$ (світло-зелений).

Крок 5: Апостеріорний розподіл наближується прийнятими точками параметрів. Апостеріорний розподіл повинен мати не-незначну ймовірність значень параметрів в області навколо істинного значення ${\displaystyle \theta }$ в системі, якщо дані є достатньо інформативними. В цьому прикладі масу апостеріорної ймовірності рівномірно поділено між значеннями 0.08 та 0.43.

Малюнок 3 показує апостеріорні ймовірності, отримані за допомогою ПБО та великого n з використанням або зведеної статистики у поєднанні з (${\displaystyle \epsilon =0}$ та ${\displaystyle \epsilon =2}$), або повної послідовності даних. Вони порівнюються зі справжнім апостеріорним, що може бути обчислено точно та ефективно за допомогою алгоритму Вітербі. Використана зведена статистика не є достатньою, і це видно з того, що навіть при ${\displaystyle \epsilon =0}$ відхилення від теоретичного апостеріорного є значним. Слід зазначити, що для отримання апостеріорного, що буде зосереджено навколо справжнього значення ${\displaystyle \theta }$ (${\displaystyle \theta =0.25}$), знадобиться значно довша послідовність даних спостережень.

Цей приклад застосування ПБО використовує спрощення для ілюстративних цілей. Ряд оглядових статей пропонують посилання на реалістичніші застосування ПБО.

Порівняння моделей за допомогою ПБО

Крім оцінки параметрів, модель ПБО може застосовуватися для обчислення апостеріорних імовірностей різних моделей-кандидатів. У таких застосуваннях однією з можливостей є застосування відхилення-вибірки в ієрархічному порядку. Спершу з апріорного розподілу моделей береться модель; потім, для взятої моделі, параметри моделі вибираються з апріорного розподілу, що відповідає цій моделі. Нарешті, симуляція виконується так, як в одномодельному ПБО. Тепер відносні частоти прийняття для різних моделей наближують апостеріорний розподіл для цих моделей. Знову ж таки, пропонувалися обчислювальні вдосконалення ПБО у просторі моделей, такі як побудова ^[en] в сукупному просторі моделей та параметрів.

Щойно оцінено апостеріорні ймовірності моделей, можна повною мірою скористатися методиками баєсового порівняння моделей. Наприклад, для порівняння відносних імовірностей двох моделей ${\displaystyle M_{1}}$ та ${\displaystyle M_{2}}$ можна обчислювати їхнє апостеріорне відношення, що пов'язане з коефіцієнтом Баєса ${\displaystyle B_{1,2}}$:

${\displaystyle {\frac {p(M_{1}|D)}{p(M_{2}|D)}}={\frac {p(D|M_{1})}{p(D|M_{2})}}{\frac {p(M_{1})}{p(M_{2})}}=B_{1,2}{\frac {p(M_{1})}{p(M_{2})}}}$.

Якщо апріорні моделей є однаковими (${\displaystyle p(M_{1})=p(M_{2})}$), коефіцієнт Баєса дорівнює відношенню апостеріорних.

На практиці, як обговорюється нижче, ці заходи можуть бути дуже чутливими до вибору параметрів апріорних розподілів та зведеної статистики, і, таким чином, висновки з порівняння моделей слід робити з обережністю.

Пастки, та засоби подолання

Таблиця 2: Потенціальні ризики та пастки в статистичному висновуванні на основі ПБО

Джерело помилки	Потенційна проблема	Розв'язання	Розділ
Ненульовий допуск ε	Неточність вносить відхилення до обчислюваного апостеріорного розподілу.	Теоретичні/практичні дослідження чутливості апостеріорного розподілу до допуску. Зашумлене ПБО.	#Наближення апостеріорного
Не достатня зведена статистика	Втрата інформації призводить до роздування ймовірних інтервалів.	Автоматичний вибір / напівавтоматична ідентифікація достатньої статистики. Перевірки достовірності моделі (напр., Темплтон, 2009).	#Вибір та достатність зведеної статистикиВибір та достатність зведеної статистики
Мала кількість моделей / Невірно вказані моделі	Досліджувані моделі не є репрезентативними / брак передбачувальної сили.	Ретельний відбір моделей. Оцінка передбачувальної сили.	#Мала кількість моделей
Апріорні та діапазони параметрів	Висновки можуть бути чутливими до вибору апріорних. Вибір моделі може бути безглуздим.	Перевіряти чутливість коефіцієнтів Баєса до вибору апріорних. Доступні деякі теоретичні результати стосовно вибору апріорних. Використовувати альтернативні методи перевірки достовірності моделей.	#Апріорний розподіл та діапазони параметрів
Прокляття розмірності	Низький темп прийняття параметрів. Помилки моделей неможливо відрізнити від недостатньої дослідженості простору параметрів. Ризик перенавчання.	Методи зменшення моделей, якщо вони застосовні. Методи для прискорення дослідження параметрів. Контроль якості для виявлення перенавчання.	#Прокляття розмірності
Ранжування моделей зі зведеною статистикою	Розрахунок коефіцієнтів Баєса на зведеній статистиці може не відповідати коефіцієнтам Баєса на вихідних даних, що може призводити до видачі безглуздих результатів.	Використовувати лише такі зведені статистики, що задовольняють необхідні та достатні вимоги для отримання несуперечливого баєсового вибору моделі. Застосовувати альтернативні методи перевірки достовірності моделі.	#Коефіцієнт Баєса з ПБО та зведеною статистикою
Реалізація	Низький захист загальних припущень у процесах симуляції та висновування.	Перевірка працездатності за результатами. Стандартизація програмного забезпечення.	#Обов'язкові перевірки якості

Як і для всіх статистичних методів, для застосування методів на основі ПБО до реальних задач моделювання є обов'язково необхідним ряд припущень та наближень. Наприклад, встановлення параметра допуску ${\displaystyle \epsilon }$ в нуль забезпечує точний результат, але зазвичай робить обчислення занадто витратним. Тому на практиці застосовуються значення ${\displaystyle \epsilon }$ більше нуля, що вносить відхилення. Також, достатні зведені статистики зазвичай не є доступними, і натомість застосовуються інші зведені статистики, що привносить додаткове відхилення в силу втрати інформації. Додаткові джерела відхилення, наприклад, у контексті вибору моделі, можуть бути витонченішими.

В той же час, деякі з критичних зауважень, спрямовані на методи ПБО, зокрема в галузі ^[en], стосуються не особливостей ПБО, а всіх баєсових методів, або навіть всіх статистичних методів (наприклад, вибір апріорного розподілу та діапазонів параметрів). Тим не менш, через здатність методів ПБО мати справу із значно складнішими моделями, деякі з цих загальних пасток мають особливе значення в контексті аналізу ПБО.

В цьому розділі обговорюються ці потенційні ризики, та робиться огляд можливих шляхів їхнього подолання (таблиця 2).

Наближення апостеріорного

Не-незначний ${\displaystyle \epsilon }$ дається такою ціною, що вибірка робиться з ${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$ замість справжнього апостеріорного ${\displaystyle p(\theta |D)}$. За достатньо малого допуску та чутливої метрики відстані, отримуваний в результаті розподіл ${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$ повинен часто наближувати справжній цільовий розподіл ${\displaystyle p(\theta |D)}$ достатньо добре. З іншого боку, настільки великий допуск, що кожна з точок простору параметрів стає прийнятою, видасть дублікат апріорного розподілу. Існують емпіричні дослідження різниці між ${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$ та ${\displaystyle p(\theta |D)}$ як функції від ${\displaystyle \epsilon }$, та теоретичні результати для верхньої межі помилки оцінок параметрів у залежності від ${\displaystyle \epsilon }$. Також було досліджено точність апостеріорного (визначену як очікувані квадратичні втрати), що породжує ПБО, як функцію від ${\displaystyle \epsilon }$. Тим не менш, збіжність розподілів при наближенні ${\displaystyle \epsilon }$ до нуля та її залежність від застосовуваної метрики відстані є важливою темою, що ще має бути досліджено докладніше. Зокрема, залишається складним відокремити помилки, внесені цим наближенням, від помилок через неправильне визначення моделі.

Як спроба виправлення деяких із помилок, спричинених ненульовим ${\displaystyle \epsilon }$, було запропоновано використання з ПБО локальної зваженої лінійної регресії, щоби зменшити розбіжність апостеріорних оцінок. Цей метод призначає вагові коефіцієнти параметрам у відповідності до того, наскільки добре симульовані підсумки відповідають спостережуваним, і виконує лінійну регресію між підсумками та зваженими параметрами в околі спостережуваних підсумків. Отримувані коефіцієнти регресії використовуються для коригування параметрів, що обираються, в напрямку спостережуваних підсумків. Було запропоновано вдосконалення у вигляді нелінійної регресії із застосуванням штучної нейронної мережі прямого поширення. Проте, було показано, що апостеріорні розподіли, отримані із застосуванням цих підходів, не завжди конзистентні з апріорним розподілом, і відтак запропоновано переформулювання налаштувань регресії, яке бере до уваги апріорний розподіл.

Нарешті, статистичне висновування із застосуванням ПБО з ненульовим допуском ${\displaystyle \epsilon }$ не є властиво вадливим: за припущення наявності помилок вимірювання може бути фактично показано, що оптимальний ${\displaystyle \epsilon }$ є не нульовим. Дійсно, відхилення, спричинене ненульовим допуском, може бути характеризовано та компенсовано введенням певного виду шуму до зведеної статистики. Було встановлено асимптотичну конзистентність такого «зашумленого ПБО», а також формули асимптотичної дисперсії оцінок параметрів для фіксованого допуску.

Вибір та достатність зведеної статистики

Зведена статистика може застосовуватися для збільшення темпу прийняття ПБО для даних високої розмірності. Для цієї мети оптимальною є достатня зведена статистика невисокої розмірності, оскільки вона охоплює всю доречну інформацію, що є в даних, у найпростішому вигляді з можливих. Однак, достатні статистики низької розмірності зазвичай є недосяжними для тих статистичних моделей, для яких висновування на основі ПБО є найдоречнішим, і тому для знаходження зведених статистик невеликої розмірності зазвичай потрібна певна евристика. Використання набору погано обраної зведеної статистики часто призводить до роздування ймовірних інтервалів з причини закладеної втрати інформації, що також може вносити відхилення й до розрізнення моделей. Існує огляд методів обрання зведених статистик, що може слугувати гарним керівництвом на практиці.

Одним з підходів для охоплення якомога більше наявної в даних інформації було би використання багатьох статистик, але виявляється, що точність та стабільність ПБО швидко знижуються зі збільшенням числа зведених статистик. Натомість кращою стратегією є фокусуватися лише на доречних статистиках — доречність відносно проблеми висновування в цілому, використовуваної моделі, та даних, що є в розпорядженні.

Було запропоновано алгоритм ідентифікації репрезентативної підмножини зведених статистик шляхом оцінювання, чи привносить додаткова статистика значущу зміну до апостеріорного. Однією з проблем тут є те, що велика помилка наближення ПБО може сильно вплинути на висновки про корисність статистики на будь-якому кроці цієї процедури. Інший метод розкладається на два основних кроки. Спершу будується контрольне апостеріорне шляхом мінімізації ентропії. Потім набори-кандидати статистик оцінюються шляхом порівняння наближених за допомогою ПБО апостеріорних із контрольним апостеріорним.

За обох цих стратегій підмножина статистик обирається з більшого набору статистик-кандидатів. Натомість, підхід ^[en] використовує інформацію з усіх статистик-кандидатів, кожної з відповідним ваговим коефіцієнтом. Останнім часом значний інтерес привернув метод побудови зведених статистик напівавтоматичним способом. Цей метод засновано на спостереженні, що оптимальний вибір зведених статистик при мінімізації квадратичних втрат оцінок точок параметрів може бути отримано через апостеріорне середнє параметрів, яке наближується виконанням лінійної регресії на основі симульованих даних.

Істотне значення матимуть методи ідентифікації зведених статистик, що могли би також одночасно оцінювати вплив на наближення апостеріорного. Причина в тому, що вибір зведених статистик та вибір допуску складають два джерела помилки в отримуваному в результаті апостеріорному розподілі. Ці помилки можуть спотворювати ранжування моделей, а також можуть призводити до неточних передбачень моделей. Дійсно, жоден із наведених вище методів не оцінює вибір зведених статистик з метою вибору моделі.

Коефіцієнт Баєса з ПБО та зведеною статистикою

Було показано, що поєднання не достатньої зведеної статистики та ПБО може бути проблематичним для вибору моделі. Справді, якщо позначити коефіцієнт Баєса на основі зведеної статистики ${\displaystyle S(D)}$ як ${\displaystyle B_{1,2}^{s}}$, то співвідношення між ${\displaystyle B_{1,2}}$ та ${\displaystyle B_{1,2}^{s}}$ набуває такого вигляду:

${\displaystyle B_{1,2}={\frac {p(D|M_{1})}{p(D|M_{2})}}={\frac {p(D|S(D),M_{1})}{p(D|S(D),M_{2})}}{\frac {p(S(D)|M_{1})}{p(S(D)|M_{2})}}={\frac {p(D|S(D),M_{1})}{p(D|S(D),M_{2})}}B_{1,2}^{s}}$.

Отже, зведена статистика ${\displaystyle S(D)}$ є достатньою для порівняння двох моделей ${\displaystyle M_{1}}$ та ${\displaystyle M_{2}}$ якщо і лише якщо

${\displaystyle p(D|S(D),M_{1})=p(D|S(D),M_{2})}$,

що дає в результаті ${\displaystyle B_{1,2}=B_{1,2}^{s}}$. З наведеного вище рівняння також ясно, що може існувати величезна різниця між ${\displaystyle B_{1,2}}$ та ${\displaystyle B_{1,2}^{s}}$, якщо ця умова не задовольняється, що може бути показано на іграшкових прикладах. Врешті-решт було показано, що достатність для ${\displaystyle M_{1}}$ або ${\displaystyle M_{2}}$ по одному, або для обох моделей, не гарантує достатності для ранжування моделей. Проте, також було показано, що будь-яка достатня зведена статистика для моделі ${\displaystyle M}$, в якій обидві моделі ${\displaystyle M_{1}}$ та ${\displaystyle M_{2}}$ є ^[en], є чинною для ранжування ^[en].

Обчислення коефіцієнтів Баєса на ${\displaystyle S(D)}$ може відтак бути оманливим для цілей вибору моделі, якщо відношення між коефіцієнтами Баєса на ${\displaystyle D}$ та ${\displaystyle S(D)}$ не буде відомим, або хоча б не буде достатньо добре наближуваним. Крім того, нещодавно було отримано необхідні та достатні умови на зведену статистику для стійкого баєсового вибору моделі, що можуть слугувати корисним керівництвом.

Тим не менш, це питання має відношення лише до такого вибору моделі, коли розмірність даних було зменшено. Висновування на основі ПБО, в якому порівнюються безпосередньо справжні набори даних, як у деяких застосуваннях в системній біології (наприклад, див.), уникає цієї проблеми.

Обов'язкові перевірки якості

Як стає зрозумілим із попереднього обговорення, будь-який ПБО-аналіз вимагає здійснення вибору та компромісів, що можуть мати значний вплив на його результати. А саме, вибір альтернативних моделей/гіпотез, кількості симуляцій, вибір зведеної статистики або порогового допуску наразі не можуть ґрунтуватися на загальних правилах; вплив цього вибору має оцінюватись і перевірятись у кожному дослідженні.

Було запропоновано ряд евристичних підходів до контролю якості ПБО, таких як кількісне вираження частки дисперсії параметру, що пояснюється зведеною статистикою. Звичайний клас методів націлено на визначення того, чи видає висновування вірні результати, не залежно від фактично спостережуваних даних. Наприклад, для заданого набору значень параметру, що зазвичай вибирається з апріорного або апостеріорного розподілів моделі, можна згенерувати велику кількість штучних наборів даних. Таким чином, якість та надійність висновування ПБО може бути оцінено в контрольованих умовах, шляхом здійснення замірів, наскільки добре обране висновування ПБО виявляє справжні значення параметру, а також моделює, чи декілька структурно відмінних моделей розглядаються одночасно.

Інший клас методів визначає, чи було висновування успішним у світлі заданих спостережуваних даних, наприклад, шляхом порівняння ^[en] зведеної статистики зі спостережуваною зведеною статистикою. Крім того, перспективні майбутні стратегії оцінки стабільності висновувань ПБО та їхньої передбачувальної достовірності за межами вибірки представляють методики перехресного затверджування та ^[en]. Це особливо важливо при моделюванні великих масивів даних, оскільки в такому випадку апостеріорна підтримка певної моделі може видаватися надзвичайно переконливою, хоча всі запропоновані моделі фактично є поганим представленням стохастичної системи, що стоїть за спостережуваними даними. Передбачувальні перевірки за межами вибірки можуть виявляти потенційні систематичні відхилення в межах моделі й пропонувати ключ до того, як вдосконалити її структуру або параметризацію.

Цікаво, що нещодавно було запропоновано принципово нові підходи для вибору моделі, що включають контроль якості як невід'ємний крок процесу. ПБО за своєю будовою дозволяє оцінювати розбіжності між спостережуваними даними та передбаченнями моделі по відношенню до вичерпного набору статистик. Ці статистики не обов'язково є такими ж, як ті, що застосовуються в критерії прийняття. Отримувані розподіли розбіжностей застосовувались для вибору моделей, що узгоджуються з багатьма аспектами даних одночасно, і суперечність моделі виявляється з конфліктних та співзалежних зведених статистик. Інший метод вибору моделі на основі контролю якості залучає ПБО для наближення ефективної кількості параметрів моделі та відхилень передбачуваних апостеріорних розподілів зведених статистик та параметрів. Потім застосовується ^[en] як міра придатності моделі. Також було показано, що моделі, яким віддано перевагу за цим критерієм, можуть конфліктувати з тими, які підтримуються коефіцієнтами Баєса. З цієї причини корисно комбінувати різні методи вибору моделей для отримання правильних висновків.

Перевірки якості є досяжними, й дійсно виконуються в багатьох працях, що ґрунтуються на ПБО, але для деяких задач оцінка впливу пов'язаних із методом параметрів може бути складним завданням. Тим не менш, можна очікувати, що використання ПБО, яке швидко зростає, забезпечить глибше розуміння обмежень та застосовності цього методу.

Загальні ризики статистичного висновування, що загострюються в ПБО

В цьому розділі зроблено огляд ризиків, що, суворо кажучи, не є характерними саме для ПБО, а стосуються так само й інших статистичних методів. Проте гнучкість, яку пропонує ПБО для аналізу дуже складних моделей, робить їхнє обговорення тут дуже доречним.

Апріорний розподіл та діапазони параметрів

Специфікація діапазонів та апріорного розподілу параметрів сильно виграє від попередніх знань про властивості системи. Одним із критичних зауважень було те, що в деяких дослідженнях «діапазони та розподіли параметрів всього лише вгадуються на підставі суб'єктивної думки дослідників», що пов'язано із класичними запереченнями баєсових підходів.

За будь-якого обчислювального методу зазвичай необхідно обмежити досліджувані діапазони параметрів. Ці діапазони параметрів повинні за можливості визначатися на підставі відомих властивостей досліджуваної системи, але для практичних застосувань можуть робити необхідним освічене припущення. Тим не менш, доступні теоретичні результати стосовно об'єктивних апріорних, що можуть наприклад ґрунтуватися на ^[en] або ^[en]. З іншого боку, автоматизовані або напівавтоматизовані методи вибору апріорного розподілу часто видають некоректні густини. Оскільки більшість процедур ПБО вимагають генерування вибірок з апріорного, некоректні апріорні не є безпосередньо застосовними в ПБО.

При виборі апріорного розподілу слід також мати на увазі мету аналізу. В принципі, неінформативні та пласкі апріорні, що підкреслюють наше суб'єктивне незнання про параметри, все ж таки можуть видавати прийнятні оцінки параметрів. Проте коефіцієнти Баєса є дуже чутливими до апріорного розподілу параметрів. Висновки про вибір моделі на підставі коефіцієнтів Баєса можуть виявитися оманливими, якщо не обміркувати ретельно чутливість висновків до вибору апріорних.

Мала кількість моделей

Методи на основі моделей піддавалися критиці через не вичерпне покриття простору гіпотез. Дійсно, дослідження на основі моделей обертаються навколо невеликої кількості моделей, і з причини високих обчислювальних витрат на оцінку однієї моделі в деяких випадках може бути складно покрити велику частину простору гіпотез.

Верхня межа кількості моделей-кандидатів, що розглядаються, зазвичай встановлюється значними зусиллями, необхідними для визначення моделей та для вибору між багатьма альтернативними варіантами. Не існує загальноприйнятої процедури побудови моделі саме для ПБО, тому натомість застосовуються досвід та попередні знання. Хоч надійніша процедура для апріорного вибору моделі та формулювання й була би корисною, універсальної стратегії розробки моделі в статистиці не існує: чутливі характеристики складних систем завжди робитимуть необхідною велику кількість детективної праці та використання експертних знань з предметної області.

Деякі опоненти ПБО стверджують, що оскільки реалістично можуть розглядатися лише декілька моделей, суб'єктивно вибрані та ймовірно всі неправильні, то аналіз ПБО пропонує лише обмежене розуміння. Проте існує важлива відмінність між ідентифікацією правдоподібної нульової гіпотези, та оцінкою відносної придатності альтернативних гіпотез. Оскільки в контексті складних моделей вкрай рідко може бути висунуто корисні нульові гіпотези, що є потенційно справедливими, то передбачувальна здатність статистичних моделей як пояснення складних явищ є набагато важливішою за перевірку статистичних нульових гіпотез у цьому контексті. Також для отримування висновків про особливості моделі (наприклад, значень параметрів) та здійснення передбачень є звичним робити усереднення досліджуваних моделей, зважених на підставі їхньої відносної правдоподібності.

Великі набори даних

Великі набори даних можуть утворювати обчислювальне вузьке місце для методів на основі моделей. Було, наприклад, вказано, що в деяких аналізах на основі ПБО частину даних має бути опущено. Ряд авторів стверджують, що великі набори даних не становлять практичного обмеження, хоча суворість цієї проблеми сильно залежить від характеристик моделей. Деякі аспекти задачі моделювання, такі як розмір вибірки, кількість спостережуваних змінних або властивостей, часова або просторова роздільна здатність тощо, можуть сприяти обчислювальній складності. Проте зі збільшенням обчислювальних потужностей ця проблема потенційно ставатиме менш важливою.

Замість вибирання параметрів для кожної симуляції з апріорного, як альтернативу було запропоновано поєднувати з ПБО алгоритм Метрополіса — Гастінгса, що, як було повідомлено, дає вищий темп прийняття, ніж чисте ПБО. Природно, такий підхід успадковує загальні обтяження методів МКМЛ, такі як складність оцінювання збіжності, кореляцію серед вибірок з апостеріорного та відносно слабку розпаралелюваність.

Так само для середовища ПБО було адаптовано ^[en] (англ. sequential Monte Carlo, SMC) та сукупнісний (англ. population Monte Carlo, PMC) методи Монте-Карло. Загальна ідея полягає в ітеративному підході до апостеріорного з апріорного через послідовність цільових розподілів. Перевагою таких методів у порівнянні з ПБО-МКМЛ є те, що вибірки з отримуваного в результаті апостеріорного є незалежними. На додачу, послідовні методи не вимагають вказання рівнів допуску до початку аналізу, вони регулюються адаптивно.

Розпаралелювання ряду кроків алгоритмів ПБО на основі відхилювальної вибірки та ^[en] є відносно простим. Також було продемонстровано, що паралельні алгоритми можуть привносити суттєве прискорення до висновування на основі МКМЛ у філогенетиці, і вони можуть бути придатним підходом також і для методів на основі ПБО. Крім того, адекватна модель складної системи, швидше за все, вимагатиме інтенсивних обчислень не залежно від обраного методу висновування, і це користувачеві обирати метод, що буде придатним для певного застосування, що розглядається.

Прокляття розмірності

Для отримання прийнятного рівня точності висновування апостеріорного набори даних високої розмірності та простори параметрів високої розмірності можуть вимагати симуляції в дослідженні на основі ПБО надзвичайно великої кількості точок параметрів. В таких ситуаціях обчислювальні витрати сильно зростають, і здатні в найгіршому випадку зробити обчислювальний аналіз непіддатливим. Вони є прикладами добре відомих явищ, що позначають узагальнювальним терміном «прокляття розмірності».

Для оцінки того, наскільки серйозно розмірність даних впливає на аналіз у контексті ПБО, було виведено аналітичні формули помилки оцінювачів ПБО як функції від розмірності зведеної статистики. Крім того, Блум (англ. Blum) та Франсуа (англ. François) дослідили, як розмірність зведеної статистики пов'язана із середньоквадратичною помилкою для різних коригувань помилки оцінювачів ПБО. Було також відзначено, що методики зменшення розмірності є корисними для уникання прокляття розмірності через те, що базова структура зведеної статистики потенційно має меншу розмірність. Керуючись мінімізацією квадратичних втрат оцінювачів ПБО, Фіернхед (англ. Fearnhead) та Пренгл (англ. Prangle) запропонували схему проектування даних (можливо, великої розмірності) на оцінки апостеріорних середніх значень параметрів; цей засіб, що тепер має ту ж розмірність, що й параметри, потім використовується як зведена статистика для ПБО.

ПБО може застосовуватися для задач висновування в параметричних просторах високої розмірності, хоча слід брати до уваги можливість перенавчання (наприклад, див. методи вибору моделі в та). Тим не менш, імовірність прийняття симульованих значень параметрів за заданого допуску в алгоритмі відхилення ПБО, як правило, зменшується експоненційно зі збільшенням розмірності простору параметрів (через глобальний критерій прийняття). Хоча жоден обчислювальний метод (чи то на основі ПБО, чи ні) не видається здатним до подолання прокляття розмірності, нещодавно було розроблено методи, щоби впоруватися з просторами параметрів високої розмірності за певних припущень (наприклад, на основі поліноміального наближення розріджених ґраток, що потенційно може сильно зменшувати час симуляції для ПБО). Тим не менше, застосовність цих методів залежить від задачі, і недооцінювати складність дослідження простору параметрів у загальному випадку не можна. Наприклад, введення детерміністського глобального оцінювання параметрів призвело до повідомлень, що глобальні оптимуми, отримані в декількох попередніх дослідженнях задач низької розмірності, були неправильними. Тому для деяких задач може бути складно зрозуміти, чи є неправильною модель, як обговорювалося вище, чи досліджена область простору параметрів є невідповідною. Прагматичнішим підходом може бути скорочення масштабів задачі шляхом скорочення моделі.

Програмне забезпечення

В даний час доступний ряд програмних пакетів для застосування ПБО до певних класів статистичних моделей. В таблиці 3 представлено добірку програмного забезпечення на основі ПБО.

Таблиця 3: Програмне забезпечення, що включає ПБО

Програма	Ключові слова та властивості	Посилання
DIY-ABC	Програма для підгонки генетичних даних до складних ситуацій. Порівняння моделей-конкурентів. Оцінювання параметрів. Обчислення мір відхилення та точності для заданої моделі та відомих значень параметрів.
abc R package	Декілька алгоритмів ПБО для виконання оцінки параметрів та вибору моделі. Методи нелінійної гетероскедастичної регресії для ПБО. Інструмент перехресної перевірки.
EasyABC R package	Декілька алгоритмів для виконання ефективних схем вибірки ПБО, включно з 4 послідовними схемами вибірки та 3 схемами МКМЛ.
ABC-SysBio	Пакет Python. Отримування висновків про параметри та обирання моделі для динамічних систем. Поєднує вибірку ПБО з відхиленням, ^[en] ПБО для отримування висновків про параметри та ПМК ПБО для вибору моделі. Сумісний з моделями, написаним мовою ^[en] (SBML). Детерміновані та стохастичні моделі.
ABCtoolbox	Відкрита програма з багатьма алгоритмами ПБО, включно з вибіркою з відхиленням, МКМЛ без правдоподібності, вибіркою на базі частинок та ЗЛМ-ПБО. Сумісність з багатьма програмами симуляції та обчислення зведених статистик.
msBayes	Відкритий програмний пакет, що складається з кількох програм C та R, що запускаються інтерфейсною програмою Perl. Ієрархічні зрощені моделі. Дані популяційної генетики з кількох співрозповсюджених видів.
PopABC	Програмний пакет для отримування висновків про схему демографічної розбіжності. Зрощена симуляція. Баєсове обирання моделі.
ONeSAMP	Вебпрограма для оцінки ефективного розміру популяції з вибірки мікросателітних генотипів. Оцінки ефективного розміру популяції, разом з 95-відсотковими ймовірними інтервалами.
	Програмне забезпечення для оцінки ^[en] для домінантних даних.
	2-подійна баєсова ^[en] (Bayesian ADmixture). Програмне забезпечення, що підтримує до двох незалежних подій домішки й до трьох батьківських популяцій. Оцінка декількох параметрів (домішка, ефективні розміри тощо). Порівняння пар домішкових моделей.

Придатність окремих програмних пакетів залежить від конкретних програм, що є в розпорядженні, комп'ютерного середовища, та потрібних алгоритмів.

Див. також

• Методи Монте-Карло марковських ланцюгів
• ^[en]
• ^[en]

Примітки

 Ця стаття містить текст із журналу PLoS Computational Biology під ліцензією Creative Commons Attribution 2.5.

1. Rubin DB (1984) Bayesianly Justifiable and Relevant Frequency Calculations for the Applies Statistician. The Annals of Statistics 12: pp. 1151—1172. (англ.)
2. Diggle PJ, J. GR. (1984) Monte Carlo Methods of Inference for Implicit Statistical Models. Journal of the Royal Statistical Society, Series B 46:193-227. (англ.)
3. Bartlett MS (1963) The spectral analysis of point processes. Journal of the Royal Statistical Society, Series B 25:264-296 (англ.)
4. Hoel DG, Mitchell TJ (1971) The simulation, fitting and testing of a stochastic cellular proliferation model. Biometrics, 27, 191—199. (англ.)
5. Tavare S, Balding DJ, Griffiths RC et al. (1997) Inferring Coalescence Times From DNA Sequence Data, Genetics 145:505-518. (англ.)
6. Pritchard JK, Seielstad MT, Perez-Lezaun A et al. (1999) Population Growth of Human Y Chromosomes: A Study of Y Chromosome Microsatellites, Molecular Biology and Evolution 16:1791-1798. (англ.)
7. Beaumont MA, Zhang W, Balding DJ (2002) Approximate Bayesian Computation in Population Genetics. Genetics 162: 2025—2035. (англ.)
8. Busetto A.G., Buhmann J. Stable Bayesian Parameter Estimation for Biological Dynamical Systems.; 2009. IEEE Computer Society Press pp. 148—157. (англ.)
9. Beaumont MA (2010) Approximate Bayesian Computation in Evolution and Ecology. Annual Review of Ecology, Evolution, and Systematics 41: 379-406. (англ.)
10. Bertorelle G, Benazzo A, Mona S (2010) ABC as a flexible framework to estimate demography over space and time: some cons, many pros. Molecular Ecology 19: 2609—2625. (англ.)
11. Csilléry K, Blum MGB, Gaggiotti OE, François O (2010) Approximate Bayesian Computation (ABC) in practice. Trends in Ecology & Evolution 25: 410—418. (англ.)
12. Didelot X, Everitt RG, Johansen AM, Lawson DJ (2011) Likelihood-free estimation of model evidence. Bayesian Analysis 6: 49-76. (англ.)
13. Lai K, Robertson MJ, Schaffer DV (2004) The sonic hedgehog signaling system as a bistable genetic switch., Biophys J.: 86,2748-2757. (англ.)
14. Marin JM, Pudlo P, Robert CP, Ryder RJ (2012) Approximate Bayesian computational methods, Statistics and Computing, 22(6), 1167—1180 (англ.)
15. Wilkinson, R. G. (2007). Bayesian Estimation of Primate Divergence Times, Ph.D. thesis, University of Cambridge. (англ.)
16. Grelaud A, Marin J-M, Robert C, Rodolphe F, Tally F (2009) Likelihood-free methods for model choice in Gibbs random fields. Bayesian Analysis 3: 427—442. (англ.)
17. Toni T, Stumpf MPH (2010). Simulation-based model selection for dynamical systems in systems and population biology, Bioinformatics 26 (1):104–10. (англ.)
18. ^[en] (2009) Why does a method that fails continue to be used? The answer. Evolution 63: 807—812. (англ.)
19. Robert CP, Cornuet J-M, Marin J-M, Pillai NS (2011) Lack of confidence in approximate Bayesian computation model choice. Proc Natl Acad Sci U S A 108: 15112-15117. (англ.)
20. Templeton AR (2008) Nested clade analysis: an extensively validated method for strong phylogeographic inference. Molecular Ecology 17: 1877—1880. (англ.)
21. Templeton AR (2009) Statistical hypothesis testing in intraspecific phylogeography: nested clade phylogeographical analysis vs. approximate Bayesian computation. Molecular Ecology 18: 319—331. (англ.)
22. Berger JO, Fienberg SE, Raftery AE, Robert CP (2010) Incoherent phylogeographic inference. Proceedings of the National Academy of Sciences of the United States of America 107: E157-E157. (англ.)
23. Sisson SA, Fan Y, Tanaka MM (2007) Sequential Monte Carlo without likelihoods. Proc Natl Acad Sci U S A 104: 1760—1765.
24. Dean TA, Singh SS, Jasra A, Peters GW (2011) Parameter estimation for hidden markov models with intractable likelihoods. arXiv:11035399v1 [mathST] 28 Mar 2011. (англ.)
25. Fearnhead P, Prangle D (2011) Constructing Summary Statistics for Approximate Bayesian Computation: Semi-automatic ABC. ArXiv:10041112v2 [statME] 13 Apr 2011.
26. Blum M, Francois O (2010) Non-linear regression models for approximate Bayesian computation. Stat Comp 20: 63-73. (англ.)
27. Leuenberger C, Wegmann D (2009) Bayesian Computation and Model Selection Without Likelihoods. Genetics 184: 243—252. (англ.)
28. Wilkinson RD (2009) Approximate Bayesian computation (ABC) gives exact results under the assumption of model error. arXiv:08113355. (англ.)
29. Blum MGB, Nunes MA, Prangle D, Sisson SA (2012) A comparative review of dimension reduction methods in approximate Bayesian computation. arxiv.org/abs/1202.3819 (англ.)
30. Nunes MA, Balding DJ (2010) On optimal selection of summary statistics for approximate Bayesian computation. Stat Appl Genet Mol Biol 9: Article 34. (англ.)
31. Joyce P, Marjoram P (2008) Approximately sufficient statistics and bayesian computation. Stat Appl Genet Mol Biol 7: Article 26. (англ.)
32. Wegmann D, Leuenberger C, Excoffier L (2009) Efficient approximate Bayesian computation coupled with Markov chain Monte Carlo without likelihood. Genetics 182: 1207—1218. (англ.)
33. Marjoram P, Molitor J, Plagnol V, Tavare S (2003) Markov chain Monte Carlo without likelihoods. Proc Natl Acad Sci U S A 100: 15324-15328. (англ.)
34. Marin J-M, Pillai NS, Robert CP, Rousseau J (2011) Relevant statistics for Bayesian model choice. ArXiv:11104700v1 [mathST] 21 Oct 2011: 1-24. (англ.)
35. Toni T, Welch D, Strelkowa N, Ipsen A, Stumpf M (2007) Approximate Bayesian computation scheme for parameter inference and model selection in dynamical systems. J R Soc Interface 6: 187—202. (англ.)
36. Arlot S, Celisse A (2010) A survey of cross-validation procedures for model selection. Statistical surveys 4: 40-79. (англ.)
37. Dawid A Present position and potential developments: Some personal views: Statistical theory: The prequential approach. Journal of the Royal Statistical Society, Series A 1984: 278—292. (англ.)
38. Vehtari A, Lampinen J (2002) Bayesian model assessment and comparison using cross-validation predictive densities. Neural Computation 14: 2439—2468. (англ.)
39. Ratmann O, Andrieu C, Wiuf C, Richardson S (2009) Model criticism based on likelihood-free inference, with an application to protein network evolution. Proceedings of the National Academy of Sciences of the United States of America 106: 10576-10581. (англ.)
40. Francois O, Laval G (2011) Deviance Information Criteria for Model Selection in Approximate Bayesian Computation. Stat Appl Genet Mol Biol 10: Article 33. (англ.)
41. Templeton AR (2010) Coherent and incoherent inference in phylogeography and human evolution. Proceedings of the National Academy of Sciences of the United States of America 107: 6376-6381. (англ.)
42. Beaumont MA, Nielsen R, Robert C, Hey J, Gaggiotti O, et al. (2010) In defence of model-based inference in phylogeography. Molecular Ecology 19: 436—446. (англ.)
43. Jaynes ET (1968) Prior Probabilities. IEEE Transactions on Systems Science and Cybernetics 4. (англ.)
44. Berger, J. O. (2006). The case for objective Bayesian analysis. Bayesian Analysis 1 385—402 and 457—464. (англ.)
45. Beaumont MA, Cornuet J-M, Marin J-M, Robert CP (2009) Adaptive approximate Bayesian computation. Biometrika 96: 983—990. (англ.)
46. Del Moral P, Doucet A, Jasra A (2011 (in press)) An adaptive sequential Monte Carlo method for approximate Bayesian computation. Statistics and computing. (англ.)
47. Feng X, Buell DA, Rose JR, Waddellb PJ (2003) Parallel Algorithms for Bayesian Phylogenetic Inference. Journal of Parallel and Distributed Computing 63: 707—718. (англ.)
48. Bellman R (1961) Adaptive Control Processes: A Guided Tour: Princeton University Press. (англ.)
49. Blum MGB (2010) Approximate Bayesian Computation: a nonparametric perspective, Journal of the American Statistical Association (105): 1178—1187 (англ.)
50. Fearnhead P, Prangle D (2012) Constructing summary statistics for approximate Bayesian computation: semi-automatic approximate Bayesian computation, Journal of the Royal Statistical Society, Series B 74(3): 419—474. (англ.)
51. Gerstner T, Griebel M (2003) Dimension-Adaptive Tensor-Product Quadrature. Computing 71: 65-87. (англ.)
52. Singer AB, Taylor JW, Barton PI, Green WH (2006) Global dynamic optimization for parameter estimation in chemical kinetics. J Phys Chem A 110: 971—976. (англ.)
53. Cornuet J-M, Santos F, Beaumont M, et al. (2008) Inferring population history with DIY ABC: a user-friendly approach to approximate Bayesian computation, Bioinformatics, 24(23): 2713—2719 (англ.)
54. Csilléry K, François O, Blum MGB (2012), abc: an R package for approximate Bayesian computation (ABC) Methods in Ecology and Evolution, 3: 475—479 (англ.)
55. Csillery, K; Francois, O; Blum, MGB (21 лютого 2012). Approximate Bayesian Computation (ABC) in R: A Vignette (PDF). Процитовано 10 May 2013.
56. Jabot, F; Faure, T; Dumoulin, N. EasyABC: performing efficient approximate Bayesian computation sampling schemes using R. Methods in Ecology and Evolution, 4: 684–687.
57. Jabot, F; Faure, T; Dumoulin, N (3 червня 2013). (PDF). Архів оригіналу (PDF) за 18 серпня 2016. Процитовано 3 серпня 2016.
58. Liepe J, Barnes C, Cule E, Erguler K, Kirk P, Toni T, Stumpf MP (2010) ABC-SysBio—approximate Bayesian computation in Python with GPU support, Bioinformatics, 26: 1797—1799 (англ.)
59. Wegmann D, Leuenberger C, Neuenschwander S, Excoffier L (2010) ABCtoolbox: a versatile toolkit for approximate Bayesian computations. BMC Bioinformatics 11: 116. (англ.)
60. Hickerson MJ, Stahl E, Takebayashi N (2007) msBayes: Pipeline for testing comparative phylogeographic histories using hierarchical approximate Bayesian computation, BMC Bioinformatics, 8, 268: 1471—2105 (англ.)
61. Lopes JS, Balding D, Beaumont MA (2009) PopABC: a program to infer historical demographic parameters, Bioinformatics, 25: 2747—2749 (англ.)
62. Tallmon DA, Koyuk A, Luikart G, Beaumont MA (2008) COMPUTER PROGRAMS: onesamp: a program to estimate effective population size using approximate Bayesian computation, Molecular Ecology Resources, 8: 299—301 (англ.)
63. Foll M, Baumont MA, Gaggiotti OE (2008) An Approximate Bayesian Computation approach to overcome biases that arise when using AFLP markers to study population structure, Genetics, 179: 927—939 (англ.)
64. Bray TC, Sousa VC, Parreira B, Bruford MW, Chikhi L (2010) 2BAD: an application to estimate the parental contributions during two independent admisture events, Molecular Ecology Resources, 10(3): 538—541 (англ.)

Посилання

• Darren Wilkinson (31 березня 2013). Introduction to Approximate Bayesian Computation. Процитовано 31 березня 2013. {{}}: Cite має пустий невідомий параметр: |1= () (англ.)
• Rasmus Bååth (20 жовтня 2014). Tiny Data, Approximate Bayesian Computation and the Socks of Karl Broman. Процитовано 22 січня 2015. {{}}: Cite має пустий невідомий параметр: |1= () (англ.)