Теорія оцінювання

Теорія оцінювання — це галузь статистики, яка вивчає способи оцінювання значень параметрів на основі емпіричних/виміряних даних, що мають випадкову складову. Ці параметри описують належне фізичне середовище таким чином, що їхні значення впливають на розподіл виміряних даних. Статистична оцінка дозволяє оцінити ці невідомі параметри на основі даних вимірювань.

Наприклад, необхідно оцінити частину сукупності виборців, які голосуватимуть за певного кандидата. Це співвідношення є шуканим параметром; оцінка ґрунтується на невеликій випадковій вибірці людей, що голосують.

Або, наприклад, задача радару полягає в тому, щоб оцінити віддаленість об'єктів (літаків, човнів тощо) шляхом аналізу часу двобічного проходження отриманих віддзеркалень переданих імпульсів. Оскільки відбиті імпульси неминуче включатимуться в електричний шум, їхні виміряні значення матимуть випадковий розподіл, тому цю тривалість проходження потрібно оцінювати.

У теорії статистичного оцінювання зазвичай розглядають два основні підходи:

• Ймовірнісний підхід ґрунтується на припущенні, що вимірювані дані є випадковими і мають деякий розподіл ймовірностей, що залежить від параметрів, які необхідно знайти
• ^[en] ґрунтується на припущенні, що виміряний вектор даних належить до множини, що залежить від вектора параметрів.

Наприклад, в теорії електросигналів вимірювання, що містять інформацію про шукані параметри, часто пов'язані із зашумленим сигналом. Без наявності випадковості, або шуму, задача була би детермінованою, і оцінювання не було би потрібним.

Приклади

Наприклад, бажано оцінити частку населення виборців, яке проголосує за конкретного кандидата. Ця пропорція — шуканий параметр; оцінка базується на невеликій випадковій вибірці виборців. Як альтернативу бажано оцінити ймовірність голосування виборців за конкретного кандидата, виходячи з деяких демографічних особливостей, таких як вік.

Або, наприклад, у радіолокації метою є пошук діапазону об'єктів (літаки, катери тощо) шляхом аналізу двостороннього часу транзиту прийнятих відлунь переданих імпульсів. Оскільки відбиті імпульси неминуче вбудовуються в електричний шум, їх виміряні значення випадковим чином розподіляються так, що час проходження потрібно оцінити.

Іншим прикладом у теорії електричного зв'язку можуть бути вимірювання, що містять інформацію щодо цікавих параметрів, які часто пов'язано з шумним сигналом.

Основи

Щоб оцінювач могло бути втілено, для заданої моделі потрібно кілька статистичних «складових». Першим з них є статистична вибірка — набір точок даних, взятих із випадкового вектора (RV) розміру N. Покласти до вектору,

${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$

По-друге, є M параметрів

${\displaystyle \mathbf {\theta } ={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$

значення яких слід оцінити. По-третє, функція безперервної густини ймовірності (ФГІ) або її дискретний аналог, функція маси ймовірності (ФМІ) основного розподілу, що породжує дані, повинно бути вказано залежно від значень параметрів:

${\displaystyle p(\mathbf {x} |\mathbf {\theta } ).\,}$

Також можливо, щоби самі параметри мали розподіл імовірностей (наприклад, баєсову статистику). Потім необхідно визначити баєсову ймовірність

${\displaystyle \pi (\mathbf {\theta } ).\,}$

Після формування моделі мета полягає в оцінці параметрів, причому оцінки зазвичай позначають через ${\displaystyle {\hat {\mathbf {\theta } }}}$, де «капелюх» означає оцінку.

Одним із загальних оцінювачів є оцінювач ^[en] (МСКП), який використовує похибку між оцінюваними параметрами та фактичним значенням параметрів

${\displaystyle \mathbf {e} ={\hat {\mathbf {\theta } }}-\mathbf {\theta } }$

як основу для оптимальності. Потім цей член похибки подносять до квадрату, а очікуване значення цього квадрату мінімізують для оцінювача МСКП.

Оцінювачі

Докладніше: Оцінювач (статистика)

До загальновживаних оцінювачі (методів оцінювання) та тем, пов'язані з ними, належать:

• Оцінювачі максимальної ймовірності
• Оцінки Байєса
• Метод оцінок моментів
• Зв'язаний Крамер — Рао
• Найменші квадрати
• ^[en] (МСКП), відома також як баєсова мінімально-квадратична похибка (БМКП)
• Оцінка апостеріорного максимуму (ОАМ)
• ^[en] (МДНО)
• ^[en]
• Найкращий лінійний незміщений оцінювач (НЛНО)
• Незміщені оцінювачі; див. Незміщена оцінка.
• ^[en]
• Методи Монте-Карло марковських ланцюгів (МКМЛ)
• Фільтр Калмана, та різні його похідні
• ^[en]

Приклади

Невідома константа адитивного білого гауссового шуму

Розгляньмо отриманий дискретний сигнал, ${\displaystyle x[n]}$, з ${\displaystyle N}$ незалежних зразків, що складається з невідомої сталої ${\displaystyle A}$ з адитивним білим гауссовим шумом (АБГШ) ${\displaystyle w[n]}$ з нульовим середнім значенням та відомою дисперсією ${\displaystyle \sigma ^{2}}$ (тобто, ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$). Оскільки дисперсія є відомою, то єдиним невідомим параметром є ${\displaystyle A}$.

Тоді моделлю для сигналу є

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

Двома можливими (з багатьох) оцінювачами параметра ${\displaystyle A}$ є:

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ що є середнім значенням вибірки

Обидві ці оцінювачі мають середнє значення ${\displaystyle A}$, яке можливо показати, взявши математичне сподівання кожного з оцінювачів

${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$

та

${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

На даний момент ці два оцінювачі, здається, виконують однакові дії. Однак різниця між ними стає очевидною при порівнянні дисперсій.

${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$

та

${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

Видається, що середнє значення вибірки є кращим оцінювачем, оскільки його дисперсія нижча для кожного N > 1.

Максимальна ймовірність

Докладніше: Метод максимальної правдоподібності

Продовжуючи приклад, використовуючи оцінювач методу максимальної правдоподібності, густиною ймовірності (ФГІ) шуму для одного зразку ${\displaystyle w[n]}$ є

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

І ймовірність ${\displaystyle x[n]}$ стає (${\displaystyle x[n]}$ можливо розглядати як ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$)

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

Згідно незалежності, ймовірність ${\displaystyle \mathbf {x} }$ стає

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

Беручи натуральний логарифм ФГІ

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

а оцінювач максимальної правдоподібності —

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

Беремо першу похідну функції логарифмічної правдоподобності

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

і встановлюємо її в нуль

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

Це дає оцінку максимальної ймовірності

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

Що є просто середнім значенням вибірки. З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для ${\displaystyle N}$ зразків фіксованого, невідомого параметра, спотвореного АБГШ.

Нижня межа Крамера-Рао

Докладніше див. Нерівність Крамера — Рао

Щоби знайти нижню межу Крамера — Рао (НМКР) оцінювача середнього значення вибірки, спочатку необхідно знайти значення інформації за Фішером

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$

і, скопіювавши зверху,

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

Взяття другої похідної

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

та пошук від'ємного математичного сподівання є тривіальними, оскільки тепер це є детермінованою сталою ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Нарешті, підставлення цієї інформації за Фішером до

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

дає в результаті

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

Порівняння цього з дисперсією вибіркового середнього (визначеною раніше) показує, що вибіркове середнє дорівнює нижній межі Крамера — Рао для всіх значень ${\displaystyle N}$ та ${\displaystyle A}$. Іншими словами, вибіркове середнє є (обов'язково унікальним) ефективним оцінювачем, а отже, також ^[en] (МДНО), крім того, що є оцінювачем максимальної ймовірності.

Максимум рівномірного розподілу

Докладніше: ^[en]

Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів максимальної ймовірності та функцій правдоподібності.

Для заданого дискретного рівномірного розподілу ${\displaystyle 1,2,\dots ,N}$ з невідомим максимумом оцінювач ^[en] для максимуму задають як

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

де m — ^[en], а k — обсяг вибірки, вибирання без повертання. Ця задача є широко відомою як ^[en], завдяки застосуванню максимального оцінювання до оцінювання виробництва німецьких танків під час Другої світової війни.

Формулу можливо інтуїтивно розуміти як

«Максимум вибірки плюс середній розрив між спостереженнями у вибірці»,

розрив додається для компенсації негативного зміщення максимуму вибірки як оцінки максимуму сукупності.

Це має дисперсію

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$

а отже, стандартне відхилення приблизно ${\displaystyle N/k}$, середній (за сукупністю) розмір розриву між зразками; порівняйте з ${\displaystyle {\frac {m}{k}}}$ вище. Це можливо розглядати як дуже простий випадок ^[en].

Вибірковий максимум є максимально-правдоподібнісним оцінювачем для максимуму сукупності, але, як обговорювалося вище, він є зміщеним.

Застосування

Використання теорії оцінювання вимагають численні галузі. До них, зокрема, належать:

• Інтерпретування наукових експериментів
• Обробка сигналів
• Клінічні випробування
• Опитування громадської думки
• Контроль якості
• Телекомунікації
• Управління проєктами
• Розробка програмного забезпечення
• Теорія керування (зокрема, адаптивне керування)
• Система виявляння вторгнень до мереж
• ^[en]

Вимірювані дані можуть бути схильні до шуму або невизначеності, і саме через статистичну ймовірність шукають оптимальні рішення для витягування якнайбільше інформації з даних.

Див. також

Головна категорія:

• Найкращий лінійний незміщений оцінювач (НЛНО)
• ^[en]
• ^[en]
• Нерівність Крамера — Рао
• Виявляння сигналу
• ^[en]
• Статистична оцінка, Незміщена оцінка
• Алгоритм очікування-максимізації (ЕМ-алгоритм)
• ^[en]
• Модель Сірий ящик
• Теорія інформації
• Фільтр Калмана
• ^[en]
• Методи Монте-Карло марковських ланцюгів (МКМЛ)
• ^[en]
• Оцінка апостеріорного максимуму (ОАМ)
• Метод максимальної правдоподібності
• ^[en]
• Метод моментів, ^[en]
• ^[en] (МСКП)
• ^[en] (МДНО)
• ^[en]
• ^[en]
• Параметричне рівняння
• Принцип Парето
• ^[en]
• Теорема Рао — Блеквела
• Правило трійки (статистика)
• Спектральна густина, ^[en]
• Статистична обробка сигналів
• Достатня статистика
• ^[en]

Примітки

Коментарі

1. Максимум вибірки ніколи не перевищує максимум сукупності, але може бути і меншим, отже, це зміщений оцінювач: він буде схильним недооцінювати максимум сукупності.

Джерела

1. Вальтер, E.; Пронзато, Л. (1997). Ідентифікація параметричних моделей за експериментальним даними. Лондон, Англія: Springer-Verlag.
2. Джонсон, Роджер (1994), Оцінка чисельності населення, Статистика викладання, 16 (2 (літо)): 50—52, doi:10.1111/j.1467-9639.1994.tb00688.x
3. Джонсон, Роджер (2006), , Отримання Найкращого із Статистики Викладання, архів оригіналу (PDF) за Листопад 20, 2008

Література

• Теорія оцінки точок Е. Л. Леманн та Г. Казелла. ()
• Інженерія системних витрат Дейла Шермона. ()
• Математична статистика та аналіз даних Джон Райс. ()
• Основи статистичної обробки сигналів: теорія оцінки Стівена М. Кей ()
• Вступ до виявлення та оцінки сигналу Х. Вінсент Поор ()
• Теорія виявлення, оцінки та модуляції, Частина 1 Гаррі Л. Ван Тресс (; )
• Оптимальна оцінка стану: Калман, Н-нескінченість та нелінійні підходи Ден Сімон website [ 30 грудня 2010 у Wayback Machine.]
• ^[en], Адаптивні фільтри, Уайлі, Нью-Джерсі, 2008, .
• ^[en], Основи адаптивного фільтрування, Уайлі, Нью-Джерсі, 2003, .
• ^[en], ^[en], та ^[en], Лінійна оцінка, Прентис-Холл, Нью-Джерсі, 2000, .
• ^[en], ^[en], та ^[en], Невизначена квадратична оцінка та контроль: уніфікований підхід до H² та H^{${\displaystyle \infty }$} теорій, Товариство промислової та прикладної математики (ТППМ), Пенсильванія, 1999, .
• В. Г. Войнов, М. С. Нікулін, «Безсторонні оцінювачі та їх застосування. Т.1: Одновимірний випадок», Kluwer Academic Publishers, 1993, .
• В. Г. Войнов, М. С. Нікулін, « Безсторонні оцінювачі та їх застосування. Т.2: Багатовимірний випадок», Kluwer Academic Publishers, 1996, .

Посилання

• Вікісховище має мультимедійні дані за темою: Теорія оцінювання