Теорема Карунена — Лоева

Теорема Кархунена — Лоева (названа на честь ^[en] та ^[en]), також відома як теорема Косамбі — Кархунена — Лоева, це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.

Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над ${\displaystyle [a,b]}$, то будь-який ортонормований базис в ${\displaystyle L_{2}[a,b]}$ задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.

На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.

У випадку центрованого випадкового процесу ${\displaystyle {\{X_{t}\}}_{t\in [a,b]}}$ (центрований означає ${\displaystyle \mathbf {E} [X_{t}]=0}$ для всіх ${\displaystyle t\in [a,b]}$), що задовольняє умову технічної неперервності, ${\displaystyle X}$ допускає розкладання

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t),}$

де ${\displaystyle Z_{k}}$ є попарно некорельованими випадковими величинами, а функції ${\displaystyle e_{k}}$ є неперервними дійсними функціями на ${\displaystyle [a,b]}$, які є попарно ортогональними в ${\displaystyle L_{2}[a,b]}$. Загальний випадок процесу ${\displaystyle X_{t}}$, який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи ${\displaystyle X_{t}-\mathbf {E} [X_{t}]}$, який є центрованим процесом.

Крім того, у випадку нормального процесу, випадкові величини ${\displaystyle Z_{k}}$ є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на ${\displaystyle [0,1]}$ є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.

Формулювання

• У цій статті ми розглядатимемо квадратично інтегрований випадковий процес ${\displaystyle X_{t}}$ із нульовим середнім, визначений у ймовірнісному просторі ${\displaystyle (\Omega ,F,\mathbf {P} }$ та проіндексований у замкненому інтервалі ${\displaystyle [a,b]}$ з коваріаційною функцією ${\displaystyle K_{X}(s,t)}$. Таким чином ми маємо:

${\displaystyle {\begin{aligned}\forall t\in [a,b]\qquad &X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),\\\forall t\in [a,b]\qquad &\mathbf {E} [X_{t}]=0,\\\forall t,s\in [a,b]\qquad &K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].\end{aligned}}}$

• Пов'яжемо з ${\displaystyle K_{X}}$ лінійний оператор ${\displaystyle T_{K_{X}}}$ визначений таким чином:

${\displaystyle {\begin{aligned}T_{K_{X}}\colon \quad L^{2}([a,b])&\to L^{2}([a,b]),\\f&\mapsto T_{K_{X}}f=\int _{a}^{b}K_{X}(s,\cdot )f(s)\,{\rm {d}}s.\end{aligned}}}$

Оскільки ${\displaystyle T_{K_{X}}}$ є лінійним оператором, то має сенс говорити про його власні значення ${\displaystyle {\lambda }_{k}}$ та власні функції ${\displaystyle e_{k}}$, які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)}$

Формулювання теореми

Теорема. Нехай ${\displaystyle X_{t}}$— квадратично інтегрований випадковий процес, визначений у ймовірносному просторі ${\displaystyle (\Omega ,F,\mathbf {P} )}$ та проіндексований на інтервалі ${\displaystyle [a,b]}$, з неперервною коваріаційною функцією ${\displaystyle K_{X}(s,t)}$.

Тоді ${\displaystyle K_{X}(s,t)}$ є ядром Мерсера, і якщо ${\displaystyle e_{k}}$ ортонормований базис в ${\displaystyle L_{2}[a,b]}$ утворений власними функціями ${\displaystyle T_{K_{X}}}$ з відповідними власними значеннями ${\displaystyle {\lambda }_{k}}$ допускає наступне представлення

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t),}$

де збіжність в ${\displaystyle L_{2}}$, рівномірна по t і

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

Крім того, випадкові величини некорельовані ${\displaystyle Z_{k}}$ мають нульове середнє та мають дисперсію ${\displaystyle \lambda _{k}}$

${\displaystyle \mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N} }$

Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал ${\displaystyle [a,b]}$ на будь-який компактний простір ${\displaystyle C}$ і міру Лебега на ${\displaystyle [a,b]}$, носієм якої є ${\displaystyle C}$.

Доведення

• Коваріаційна функція ${\displaystyle K_{X}}$ є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір ${\displaystyle {\lambda }_{k}}$, ${\displaystyle e_{k}(t)}$ власних значень і власних функцій ${\displaystyle T_{K_{X}}}$ що утворюють ортонормований базис ${\displaystyle L_{2}[a,b]}$, і ${\displaystyle K_{X}}$ можна розкласти

${\displaystyle K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)}$

• Процес ${\displaystyle X_{t}}$ можна розкласти за власними функціями ${\displaystyle e_{k}(t)}$ як:

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

де коефіцієнти (випадкові величини) ${\displaystyle Z_{k}}$ є проекціями ${\displaystyle X_{t}}$ на відповідні власні функції

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

• Тоді ми можемо отримати

${\displaystyle {\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)\,dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)\,dt\right)\,ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)\,ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}}$

де ми використали факт, що ${\displaystyle e_{k}}$ є власними функціями ${\displaystyle T_{K_{X}}}$ і ортонормовані.

• Тепер покажемо, що збіжність відбувається в ${\displaystyle L_{2}}$. Нехай

${\displaystyle S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).}$

Тоді:

${\displaystyle {\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{\ell }e_{k}(t)e_{\ell }(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)\,ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}}$

яка дорівнює 0 за теоремою Мерсера.

Властивості перетворення Кархунена – Лоева

Особливий випадок: розподіл Гауса

Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:

Теорема. Змінні Z_i мають спільний гаусівський розподіл і є незалежними, якщо процес ${\displaystyle \{X_{t}\}}$ є гаусівським.

У випадку гаусової випадкової величини, змінні Z_i є незалежними, ми можемо сказати більше:

${\displaystyle \lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )}$

Лінійне наближення Теорема Кархунена — Лоева

Розглянемо слас сигналів які ми хочемо наблизити за допомогою ${\displaystyle M}$ базисних веторів. Ці сигнали змодельовані як реалізація випадкови веторів ${\displaystyle Y[n]}$ розміром ${\displaystyle N}$. Для оптимізації апроксимації ми реалізуємо такий базис що зменить помилку. Ця секція доводить, що накращий базис це базисКархунена — Лоева що діагоналізує ${\displaystyle Y}$. Випадковий вектор ${\displaystyle Y}$ може бути декомпонований в ортонормальний базис

${\displaystyle \left\{g_{m}\right\}_{0\leq m\leq N}}$

а саме:

${\displaystyle Y=\sum _{m=0}^{N-1}\left\langle Y,g_{m}\right\rangle g_{m},}$

де кожен

${\displaystyle \left\langle Y,g_{m}\right\rangle =\sum _{n=0}^{N-1}{Y[n]}g_{m}^{*}[n]}$

це випадкова величина. Наближення перших ${\displaystyle M<N}$ векторів базиса є

${\displaystyle Y_{M}=\sum _{m=0}^{M-1}\left\langle Y,g_{m}\right\rangle g_{m}}$

Із береження енергії в ортогональному базисі виходить

${\displaystyle \varepsilon [M]=\mathbf {E} \left\{\left\|Y-Y_{M}\right\|^{2}\right\}=\sum _{m=M}^{N-1}\mathbf {E} \left\{\left|\left\langle Y,g_{m}\right\rangle \right|^{2}\right\}}$

Це помилка пов'язана з коваріацією ${\displaystyle Y}$ визначена як

${\displaystyle R[n,m]=\mathbf {E} \left\{Y[n]Y^{*}[m]\right\}}$

Для будь-якого вектору ${\displaystyle X[n]}$ ми визначимо ${\displaystyle K}$ коваріаційний оператор визначений за матрицею,

${\displaystyle \mathbf {E} \left\{\left|\langle Y,x\rangle \right|^{2}\right\}=\langle Kx,x\rangle =\sum _{n=0}^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]}$

Помилка ${\displaystyle \varepsilon [M]}$ це сума останніх ${\displaystyle N-M}$ коефіціентів коваріаційного оператору

${\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}{\left\langle Kg_{m},g_{m}\right\rangle }}$

Коваріаційний оператор ${\displaystyle K}$ Ермітів і позитивний тому він може бути діагоналзований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посику апроксимізації.

Theorem (Оптимальність Кархунена — Лоева базиса). Нехай K коваріаційний оператор. Для всіх M ≥ 1, помилка апроксимації

${\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}\left\langle Kg_{m},g_{m}\right\rangle }$

приймає мінімальне значення тоді і тільки тоді

${\displaystyle \left\{g_{m}\right\}_{0\leq m<N}}$

це базис Кархунена — Лоева відсортовонаний по зменшенню власних чисел.

${\displaystyle \left\langle Kg_{m},g_{m}\right\rangle \geq \left\langle Kg_{m+1},g_{m+1}\right\rangle ,\qquad 0\leq m<N-1.}$

Приклади

Вінерівський процес

Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням . Тут ми розглядаєм стандартний гаусівський процесс ${\displaystyle W_{t}}$ з коваріаційною функцією

${\displaystyle K_{W}(t,s)=\operatorname {cov} (W_{t},W_{s})=\min(s,t).}$

Ми можемо розглядаєио лише інтервал ${\displaystyle [a,b]=[0,1]}$.

Ми можемо легко порахувати власні вектори, а саме

${\displaystyle e_{k}(t)={\sqrt {2}}\sin \left(\left(k-{\tfrac {1}{2}}\right)\pi t\right)}$

і відвідні власні числа

${\displaystyle \lambda _{k}={\frac {1}{(k-{\frac {1}{2}})^{2}\pi ^{2}}}.}$

Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння

${\displaystyle {\begin{aligned}\int _{a}^{b}K_{W}(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{1}\min(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{t}se(s)\,ds+t\int _{t}^{1}e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\end{aligned}}}$

якщо ми продиференціюємо по ${\displaystyle t}$, то ми отримаємо:

${\displaystyle \int _{t}^{1}e(s)\,ds=\lambda e'(t)}$

після другого дифференціювання ми отримаємо аступне диффиренційне рівняння:

${\displaystyle -e(t)=\lambda e''(t)}$

Загальний розв'язок дифференціального рівнняння виглядає так:

${\displaystyle e(t)=A\sin \left({\frac {t}{\sqrt {\lambda }}}\right)+B\cos \left({\frac {t}{\sqrt {\lambda }}}\right)}$

${\displaystyle A}$ і ${\displaystyle B}$ - дві константи, які визначаються з граничних умов. При підставленні ${\displaystyle t=0}$ в інтегральне рівняння ми отримаємо ${\displaystyle e(0)=0}$ з чого також отримаємо ${\displaystyle B=0}$ та, також, при ${\displaystyle t=1}$ перше диффернціювання дає ${\displaystyle e'(1)=0}$:

${\displaystyle \cos \left({\frac {1}{\sqrt {\lambda }}}\right)=0}$

з чого ми отримаємо загальний вигляд власних чисел ${\displaystyle T_{K_{X}}}$ are:

${\displaystyle \lambda _{k}=\left({\frac {1}{(k-{\frac {1}{2}})\pi }}\right)^{2},\qquad k\geq 1}$

Відповідні власні функції мають вигляд:

${\displaystyle e_{k}(t)=A\sin \left((k-{\frac {1}{2}})\pi t\right),\qquad k\geq 1}$

${\displaystyle A}$ обрана так, щоб нормалізувати ${\displaystyle e_{k}}$:

${\displaystyle \int _{0}^{1}e_{k}^{2}(t)\,dt=1\quad \implies \quad A={\sqrt {2}}}$

Ми отримаємо представлення процесу Вінера

Theorem. Існує послідовність ${\displaystyle \{Z_{i}\}}$ незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ

${\displaystyle W_{t}={\sqrt {2}}\sum _{k=1}^{\infty }Z_{k}{\frac {\sin \left(\left(k-{\frac {1}{2}}\right)\pi t\right)}{\left(k-{\frac {1}{2}}\right)\pi }}.}$

Треба зауважити що таке представлення дійсне при ${\displaystyle t\in [0,1].}$ На більшихих інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L² нормі і рівномірна по  t.

Броунівський міст

Подібно ${\displaystyle B_{t}=W_{t}-tW_{1}}$ який є випадковим процесом з коваріацією

${\displaystyle K_{B}(t,s)=\min(t,s)-ts}$

може бути представлений як ряд

${\displaystyle B_{t}=\sum _{k=1}^{\infty }Z_{k}{\frac {{\sqrt {2}}\sin(k\pi t)}{k\pi }}}$

Примітки

1. Sapatnekar, Sachin (2011), Overcoming variations in nanometer-scale technologies, IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 1 (1): 5—18, Bibcode:2011IJEST...1....5S, doi:10.1109/jetcas.2011.2138250
2. Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012). A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles. Proc of 53rd AIAA/ASME/ASCE/AHS/ASC Structures, Structural Dynamics, and Materials Conference, AIAA-2012-1808, Honolulu, Hawaii.
3. Karhunen–Loeve transform (KLT) [ 2016-11-28 у Wayback Machine.], Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College
4. Raju, C.K. (2009), Kosambi the Mathematician, Economic and Political Weekly, 44 (20): 33—45
5. Kosambi, D. D. (1943), Statistics in Function Space, Journal of the Indian Mathematical Society, 7: 76—88, MR 0009816.

Посилання

• Stark, Henry; Woods, John W. (1986). Probability, Random Processes, and Estimation Theory for Engineers. Prentice-Hall, Inc. ISBN . OL 21138080M.
• Ghanem, Roger; Spanos, Pol (1991). Stochastic finite elements: a spectral approach. Springer-Verlag. ISBN . OL 1865197M.
• Guikhman, I.; Skorokhod, A. (1977). Introduction a la Théorie des Processus Aléatoires. Éditions MIR.
• Simon, B. (1979). Functional Integration and Quantum Physics. Academic Press.
• Karhunen, Kari (1947). Über lineare Methoden in der Wahrscheinlichkeitsrechnung. Ann. Acad. Sci. Fennicae. Ser. A I. Math.-Phys. 37: 1—79.
• Loève, M. (1978). Probability theory. Vol. II, 4th ed. Graduate Texts in Mathematics. Т. 46. Springer-Verlag. ISBN .
• Dai, G. (1996). Modal wave-front reconstruction with Zernike polynomials and Karhunen–Loeve functions. JOSA A. 13 (6): 1218. Bibcode:1996JOSAA..13.1218D. doi:10.1364/JOSAA.13.001218.
• Wu B., Zhu J., Najm F.(2005) «A Non-parametric Approach for Dynamic Range Estimation of Nonlinear Systems». In Proceedings of Design Automation Conference(841—844) 2005
• Wu B., Zhu J., Najm F.(2006) «Dynamic Range Estimation». IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 25 Issue:9 (1618—1636) 2006
• Jorgensen, Palle E. T.; Song, Myung-Sin (2007). Entropy Encoding, Hilbert Space and Karhunen–Loeve Transforms. Journal of Mathematical Physics. 48 (10): 103503. arXiv:math-ph/0701056. Bibcode:2007JMP....48j3503J. doi:10.1063/1.2793569. S2CID 17039075.