Умовне математичне сподівання

Умовне математичне сподівання в теорії ймовірностей — середнє значення випадкової величини відносно умовного розподілу.

Визначення

Вважатимемо, що задано ймовірнісний простір ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$. Нехай ${\displaystyle X:\Omega \to \mathbb {R} }$ — інтегровна випадкова величина, тобто ${\displaystyle \mathbb {E} \vert X\vert <\infty }$. Нехай також ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$ — під-σ-алгебра σ-алгебри ${\displaystyle {\mathcal {F}}}$.

УМС відносно σ-алгебри

Випадкова величина ${\displaystyle {\hat {X}}}$ називається умовним математичним сподіванням ${\displaystyle X}$ відносно σ-алгебри ${\displaystyle {\mathcal {G}}}$, якщо

• ${\displaystyle {\hat {X}}}$ вимірна відносно ${\displaystyle {\mathcal {G}}}$.
• ${\displaystyle \forall A\in {\mathcal {G}},\quad \mathbb {E} \left[{\hat {X}}\mathbf {1} _{a}\right]=\mathbb {E} [X\mathbf {1} _{a}]}$,

де ${\displaystyle \mathbf {1} _{a}}$ — індикатор події ${\displaystyle A}$. Умовне математичне сподівання позначається ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$.

Приклад. Нехай ${\displaystyle \Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.}$ Покладемо ${\displaystyle {\mathcal {G}}=\{\varnothing \{1,2\},\{3,4\},\Omega \}}$. Тоді ${\displaystyle {\mathcal {G}}}$ - σ-алгебра, і ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$. Нехай випадкова величина ${\displaystyle X}$ має вигляд

${\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}$.

Тоді

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {5}{2}},&\omega =1,2\\[5pt]{\frac {25}{2}},&\omega =3,4.\end{matrix}}\right.}$

УМС щодо сімейства подій

Нехай ${\displaystyle {\mathcal {C}}=\{C_{\alpha }\}\subset {\mathcal {F}}}$ — довільне сімейство подій. Тоді умовним математичним сподіванням ${\displaystyle X}$ відносно ${\displaystyle {\mathcal {C}}}$ називається

${\displaystyle \mathbb {E} [X\mid {\mathcal {C}}]\equiv \mathbb {E} [X\mid \sigma ({\mathcal {C}})]}$,

де ${\displaystyle \sigma ({\mathcal {C}})}$ — мінімальна сигма-алгебра, що містить ${\displaystyle {\mathcal {C}}}$.

Приклад. Нехай ${\displaystyle \Omega =\{1,2,3,4\},\ {\mathcal {F}}=2^{\Omega },\,\mathbb {P} (\omega )=1/4,\ \omega =1,\ldots ,4.}$ Нехай також ${\displaystyle C=\{1,2,3\}}$. Тоді ${\displaystyle \sigma (C)=\{\varnothing \{1,2,3\},\{4\},\omega \}\subset {\mathcal {F}}}$. Не випадкова величина ${\displaystyle X}$ має вигляд

${\displaystyle X(\omega )=\omega ^{2},\;\omega =1,\ldots ,4}$.

Тоді

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}](\omega )=\left\{{\begin{matrix}{\frac {14}{3}},&\omega =1,2,3\\[5pt]16&\omega =4.\end{matrix}}\right.}$

УМС щодо випадкової величини

Нехай ${\displaystyle Y:\Omega \to \mathbb {R} }$ інша випадкова величина. Тоді умовним математичним сподіванням ${\displaystyle X}$ відносно ${\displaystyle Y}$ називається

${\displaystyle \mathbb {E} [X\mid Y]\equiv \mathbb {E} [X\mid \sigma (Y)]}$,

де ${\displaystyle \sigma (Y)}$ — σ-алгебра, породжена випадковою величиною ${\displaystyle Y}$.

Інше визначення УМС ${\displaystyle X}$ відносно ${\displaystyle Y}$:

${\displaystyle \mathbb {E} (X\mid Y)=\mathbb {E} (X\mid Y=y)\mid y=Y}$

Таке визначення конструктивно описує алгоритм знаходження УМС:

• знайти математичне сподівання випадкової величини ${\displaystyle X}$, приймаючи ${\displaystyle Y}$ за константу ${\displaystyle y}$;
• Потім в отриманому виразі ${\displaystyle y}$ назад замінити на випадкову величину ${\displaystyle Y}$.

Приклад: ${\displaystyle X\equiv N(a,\sigma ^{2})}$

${\displaystyle \mathbb {E} \left[{\frac {X}{Y}}\mid Y\right]=\mathbb {E} \left[{\frac {X}{y}}\right]\mid _{y=Y}={\frac {1}{y}}\mathbb {E} [X]\mid _{y=Y}={\frac {a}{y}}\mid _{y=Y}={\frac {a}{Y}}}$

Умовна ймовірність

Нехай ${\displaystyle B\in {\mathcal {F}}}$ — довільна подія, і ${\displaystyle \mathbf {1} _{b}}$ — його індикатор. Тоді умовною ймовірністю ${\displaystyle B}$ відносно ${\displaystyle {\mathcal {G}}}$ називається

${\displaystyle \mathbb {P} (B\mid {\mathcal {G}})\equiv \mathbb {E} [\mathbf {1} _{b}\mid {\mathcal {G}}]}$.

Зауваження

• Умовне математичне сподівання — це випадкова величина, а не число!
• Умовне математичне сподівання визначене з точністю до подій ймовірності нуль. Таким чином, якщо ${\displaystyle {\hat {X}}_{1}=\mathbb {E} [X\mid {\mathcal {G}}]}$ і ${\displaystyle {\hat {X}}_{1}={\hat {X}}_{2}}$ ${\displaystyle \mathbb {P} }$-майже усюди, то ${\displaystyle {\hat {X}}_{2}=\mathbb {E} [X\mid {\mathcal {G}}]}$. Ототожнивши випадкові величини, що розрізняються лише на подіях ймовірності нуль, отримуємо єдиність умовного математичного сподівання.
• Узявши ${\displaystyle A=\Omega }$, отримуємо за визначенням:

${\displaystyle \mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]}$,

і зокрема справедлива формула повної ймовірності:

${\displaystyle \mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]}$.

• Нехай σ-алгебра ${\displaystyle {\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})}$ породжена розбиттям ${\displaystyle \{C_{i}\}_{i=1}^{\infty }}$. Тоді

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}}$.

Зокрема формула повної ймовірності приймає класичний вигляд:

${\displaystyle \mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}}$,

а відповідно

${\displaystyle \mathbb {P} (A)=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})}$.

Основні властивості

• Якщо ${\displaystyle {\hat {X}}=\mathbb {E} [X\mid Y]}$, то існує Борелева функція ${\displaystyle h:\mathbb {R} \to \mathbb {R} }$, така що

${\displaystyle {\hat {X}}=h(Y)}$.

Умовне математичне сподівання ${\displaystyle X}$ щодо події ${\displaystyle \{Y=y\}}$ за визначенням рівне

${\displaystyle \mathbb {E} [X\mid Y=y]\equiv h(y)}$.

• Якщо ${\displaystyle X\geq 0}$ м.н., то ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]\geq 0}$ п.н.
• Якщо ${\displaystyle X}$ від ${\displaystyle {\mathcal {G}}}$, то

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]}$ м.н.

Зокрема, якщо ${\displaystyle X,Y}$ незалежні випадкові величини, то

${\displaystyle \mathbb {E} [X\mid Y]=\mathbb {E} [X]}$ м.н.

• Якщо ${\displaystyle {\mathcal {G}}_{1},{\mathcal {G}}_{2}}$ — дві σ-алгебри, такі що ${\displaystyle {\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}}$, то

${\displaystyle \mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]}$.

• Якщо ${\displaystyle X}$ - ${\displaystyle {\mathcal {G}}}$-вимірна, і ${\displaystyle Y}$ — випадкова величина, така що ${\displaystyle Y,XY\in L^{1}}$, то

${\displaystyle \mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]}$.

• "Математичне сподівання прибирає умову". Це правило вірне для УМС відносно випадкової величини (УМС в такому разі буде випадковою величиною) і для умовної ймовірності відносно випадкової величини

${\displaystyle \mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)}$.

Додаткові властивості

• Теорема Леві про монотонну збіжність;
• Теорема Лебега про мажоровану збіжність;
• Лема Фату;
• Нерівність Єнсена.

УМС для дискретних величин

Нехай ${\displaystyle Y}$ — дискретна випадкова величина, розподіл якої задається функцією ймовірності ${\displaystyle \mathbb {P} (Y=y_{j})\equiv p_{y}(y_{j})=p_{j}>0,\;j=1,2,\ldots }$. Тоді система подій ${\displaystyle \{Y=y_{j}\}}$ є розбиттям ${\displaystyle \Omega }$, і

${\displaystyle \mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}}$,

а

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]}$,

де ${\displaystyle \mathbb {E} _{j}}$ означає математичне сподівання узяте щодо умовної ймовірності ${\displaystyle \mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})}$.

Якщо випадкова величина ${\displaystyle X}$ також дискретна, то

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\ \mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\ p_{X\mid Y}(x_{i}\mid y_{j})}$,

де ${\displaystyle p_{X\mid Y}}$ — випадкової величини ${\displaystyle X}$ відносно ${\displaystyle Y}$.

УМС для абсолютно неперервних випадкових величин

Нехай ${\displaystyle X,Y}$ - випадкові величини, такі що вектор ${\displaystyle (X,Y)^{\top }}$ абсолютно неперервний, і його розподіл задається густиною ймовірності ${\displaystyle f_{X,Y}(x,y)}$. Введемо ${\displaystyle f_{X\mid Y}}$, поклавши за визначенням

${\displaystyle f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$,

де ${\displaystyle f_{Y}}$ - щільність імовірності випадкової величини ${\displaystyle Y}$. Тоді

${\displaystyle \mathbb {E} [X\mid Y]=h(Y)}$,

де функція ${\displaystyle h}$ має вигляд

${\displaystyle h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx}$.

Зокрема,

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y_{j})\,dx}$.

УМС у L²

Розглянемо Простір випадкових величин із скінченним другим моментом ${\displaystyle L^{2}}$. У ньому визначені скалярний добуток

${\displaystyle \langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,y\in L^{2}}$,

і породжена ним норма

${\displaystyle \|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}}$.

Множина всіх випадкових величин ${\displaystyle L_{\mathcal {G}}^{2}}$ з скінченним другим моментом і вимірних відносно ${\displaystyle {\mathcal {G}}}$, де ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$, є підпростором ${\displaystyle L^{2}}$. Тоді оператор ${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}}$, що задається рівністю

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]}$,

є на ${\displaystyle L_{\mathcal {G}}^{2}}$. Зокрема:

• Умовне математичне сподівання ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$ — це найкраще середньо-квадратичне наближення ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$-вимірними випадковими величинами:

${\displaystyle \|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|}$.

• Умовне математичне сподівання зберігає скалярний добуток:

${\displaystyle \langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}}$.

• Умовне математичне сподівання ідемпотентне:

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}}$.

Див. також

• Умовний розподіл

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Capinski, Marek, Kopp, Peter E. Measure, Integral and Probability. Verlag 2004
• Williams D., Probability with Martingales, Cambridge University Press, 1991,