Канонічно-кореляційний аналіз

У статистиці, каноні́чно-кореляці́йний ана́ліз (ККА, англ. canonical-correlation analysis, CCA) це спосіб виведення інформації зі ^[en]. Якщо ми маємо два вектори випадкових змінних, X = (X₁, ..., X_n) та Y = (Y₁, ..., Y_m), та між цими змінними існують кореляції, то канонічно-кореляційний аналіз знайде такі лінійні комбінації X_i та Y_j, які мають максимальну кореляцію між собою. Т. Р. Кнапп зазначає, що «практично всі загальноприйняті ^[en] значущості можна розглядати як окремі випадки канонічно-кореляційного аналізу, що є загальною процедурою для дослідження взаємозв'язків між двома наборами змінних.» Вперше цей метод було представлено Гарольдом Готелінґом 1936 року.

Визначення

Для двох заданих стовпчикових векторів випадкових змінних зі скінченними другими моментами ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ та ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ можна визначити взаємну коваріацію ${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$ як матрицю ${\displaystyle n\times m}$, чий ${\displaystyle (i,j)}$-тий елемент є коваріацією ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$. На практиці ми б оцінювали коваріаційну матрицю на основі вибіркових даних з ${\displaystyle X}$ та ${\displaystyle Y}$ (тобто, з пари матриць даних).

Канонічно-кореляційний аналіз шукає таких векторів ${\displaystyle a}$ та ${\displaystyle b}$, що випадкові змінні ${\displaystyle a'X}$ та ${\displaystyle b'Y}$ максимізують кореляцію ${\displaystyle \rho =\operatorname {corr} (a'X,b'Y)}$. Випадкові змінні ${\displaystyle U=a'X}$ та ${\displaystyle V=b'Y}$ є першою парою канонічних змінних (англ. first pair of canonical variables). Потім шукають векторів, які максимізують ту саму кореляцію, з обмеженням, що вони не корелюють з першою парою канонічних змінних; це дає другу пару канонічних змінних (англ. second pair of canonical variables). Цю процедуру може бути продовжено аж до ${\displaystyle \min\{m,n\}}$ разів.

Обчислення

Виведення

Нехай ${\displaystyle \Sigma _{XX}=\operatorname {cov} (X,X)}$, а ${\displaystyle \Sigma _{YY}=\operatorname {cov} (Y,Y)}$. Параметром для максимізації є

${\displaystyle \rho ={\frac {a'\Sigma _{XY}b}{{\sqrt {a'\Sigma _{XX}a}}{\sqrt {b'\Sigma _{YY}b}}}}.}$

Першим кроком є визначення заміни базису та визначення

${\displaystyle c=\Sigma _{XX}^{1/2}a,}$

${\displaystyle d=\Sigma _{YY}^{1/2}b.}$

І відтак ми маємо

${\displaystyle \rho ={\frac {c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c'c}}{\sqrt {d'd}}}}.}$

Згідно нерівності Коші — Буняковського, ми маємо

${\displaystyle \left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)d\leq \left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d'd\right)^{1/2},}$

${\displaystyle \rho \leq {\frac {\left(c'\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c'c\right)^{1/2}}}.}$

Рівність є тоді, коли вектори ${\displaystyle d}$ та ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$ є колінеарними. Крім того, максимум кореляції досягається тоді, коли ${\displaystyle c}$ є власним вектором матриці ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$ з максимальним власним значенням (див. відношення Релея). Подальші пари знаходять, використовуючи власні значення зменшуваної величини. Ортогональність гарантовано симетричністю кореляційних матриць.

Розв'язок

Отже, розв'язанням є:

• ${\displaystyle c}$ є власним вектором ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}}$
• ${\displaystyle d}$ є пропорційним до ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$

Аналогічно,

• ${\displaystyle d}$ є власним вектором ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}}$
• ${\displaystyle c}$ є пропорційним до ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}$

Обертаючи зміну координат, отримуємо, що

• ${\displaystyle a}$ є власним вектором ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}}$
• ${\displaystyle b}$ є власним вектором ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}}$
• ${\displaystyle a}$ є пропорційним до ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}b}$
• ${\displaystyle b}$ є пропорційним до ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}a}$

Канонічні змінні визначаються як

${\displaystyle U=c'\Sigma _{XX}^{-1/2}X=a'X}$

${\displaystyle V=d'\Sigma _{YY}^{-1/2}Y=b'Y}$

Реалізація

ККА може бути обчислювано із застосуванням сингулярного розкладу кореляційної матриці. Він доступний як функція в

• MATLAB як canoncorr [ 30 серпня 2014 у Wayback Machine.]
• R як cancor [ 17 вересня 2020 у Wayback Machine.], або в FactoMineR [ 9 листопада 2020 у Wayback Machine.], або в CCP [ 21 грудня 2016 у Wayback Machine.]
• ^[en] як proc cancorr [ 26 липня 2017 у Wayback Machine.]
• scikit-learn, Python як Cross decomposition [ 18 вересня 2020 у Wayback Machine.]
• SPSS як макрос CanCorr, що постачається з основним програмним забезпеченням

Перевірка гіпотез

Кожен рядок може бути перевірено на значущість за допомогою наступного методу. Оскільки кореляції впорядковуються, то якщо сказати, що рядок ${\displaystyle i}$ є нульовим, з цього випливатиме, що всі наступні кореляції також є нульовими. Якщо ми маємо в вибірці ${\displaystyle p}$ незалежних спостережень, а ${\displaystyle {\widehat {\rho }}_{i}}$ є оцінкою кореляції для ${\displaystyle i=1,\dots ,\min\{m,n\}}$, то для ${\displaystyle i}$-того рядка статистичним критерієм є

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

що для великих ${\displaystyle p}$ асимптотично має розподіл хі-квадрат з ${\displaystyle (m-i+1)(n-i+1)}$ ступенями вільності. Оскільки всі кореляції від ${\displaystyle \min\{m,n\}}$ до ${\displaystyle p}$ є логічно нульовими (і оцінюваними таким чином), то добуток членів після цієї точки не має значення.

Практичні застосування

Типовим застосуванням для канонічної кореляції в експериментальному контексті є брати два набори змінних, і дивитися, що є спільного між цими двома наборами. Наприклад, у психологічному тестуванні можна взяти два добре усталені багатовимірні ^[en], такі як мінесотський багатопрофільний особистісний опитувальник (MMPI-2) та ^[en]. Дивлячись, як співвідносяться коефіцієнти MMPI-2 та NEO, можна отримати розуміння, які виміри були спільними для цих двох наборів, і скільки було спільної мінливості. Наприклад, можна було би з'ясувати, що виміри екстравертності та невротизму відповідальні за значну величину спільної мінливості цих двох наборів.

Канонічно-кореляційний аналіз також можна використовувати для вироблення рівняння моделі, яка пов'язує два набори змінних, наприклад, набір вимірів продуктивності та набір пояснювальних змінних, або набір виходів та набір входів. На таку модель може бути накладено обмеження, щоби забезпечити відображення нею теоретичних вимог або інтуїтивно очевидних умов. Цей тип моделі відомий як модель з максимальною кореляцією (англ. maximum correlation model).

Унаочнюють результати канонічної кореляції зазвичай за допомогою стовпчикових діаграм коефіцієнтів двох наборів змінних для пар канонічних ^[en], що показують значущу кореляцію. Деякі автори вважають, що їх найкраще унаочнювати через геліографіки (англ. heliographs), круговий формат із променями як стовпчики, де кожна з половин представляє по набору змінних.

Приклади

Нехай ${\displaystyle X=x_{1}}$ з нульовим математичним сподіванням, тобто, ${\displaystyle \operatorname {E} (X)=0}$. Якщо ${\displaystyle Y=X}$, тобто ${\displaystyle X}$ та ${\displaystyle Y}$ є повністю корельованими, то, наприклад, ${\displaystyle a=1}$ та ${\displaystyle b=1}$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є ${\displaystyle U=X}$ та ${\displaystyle V=Y=X}$. Якщо ${\displaystyle Y=-X}$, тобто ${\displaystyle X}$ та ${\displaystyle Y}$ є повністю антикорельованими, то, наприклад, ${\displaystyle a=1}$ та ${\displaystyle b=-1}$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є ${\displaystyle U=X}$ та ${\displaystyle V=-Y=X}$. Зауважмо, що в обох випадках ${\displaystyle U=V}$, що показує, що канонічно-кореляційний аналіз трактує корельовані та антикорельовані змінні аналогічно.

Зв'язок із головними кутами

Виходячи з того, що ${\displaystyle X=(x_{1},\dots ,x_{n})'}$ та ${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ мають нульові математичні сподівання, тобто ${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$, їхні коваріаційні матриці ${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']}$ та ${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']}$ можна розглядати як матриці Грама у внутрішньому добутку для елементів ${\displaystyle X}$ та ${\displaystyle Y}$ відповідно. В цій інтерпретації випадкові змінні, елементи ${\displaystyle x_{i}}$ з ${\displaystyle X}$ та ${\displaystyle y_{j}}$ з ${\displaystyle Y}$, розглядають як елементи векторного простору з внутрішнім добутком, заданим коваріацією ${\displaystyle \operatorname {cov} (x_{i},y_{j})}$, див. Зв'язок коваріації з внутрішніми добутками.

Тоді визначення канонічних змінних ${\displaystyle U}$ та ${\displaystyle V}$ є рівнозначним визначенню ^[en] для пари підпросторів, породжуваних елементами ${\displaystyle X}$ та ${\displaystyle Y}$ по відношенню до цього внутрішньому добутку. Канонічні кореляції ${\displaystyle \operatorname {corr} (U,V)}$ дорівнюють косинусові ^[en].

Див. також

• ^[en]
• ^[en]
• ^[en]
• ^[en]
• Метод головних компонент
• Дискримінантний аналіз
• ^[en]
• Сингулярний розклад матриці
• ^[en]

Посилання

• Discriminant Correlation Analysis (DCA) [ 11 червня 2018 у Wayback Machine.] (MATLAB)
• Hardoon, D. R.; Szedmak, S.; Shawe-Taylor, J. (2004). Canonical Correlation Analysis: An Overview with Application to Learning Methods. Neural Computation. 16 (12): 2639—2664. doi:10.1162/0899766042321814. PMID 15516276. (англ.)
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores [ 18 вересня 2020 у Wayback Machine.] (також пропонує програму мовою FORTRAN) — в J. of Quantitative Economics 7(2), 2009, pp. 173–199 (англ.)
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (також пропонує програму мовою FORTRAN) — в J. of Applied Economic Sciences 4(1), 2009, pp. 115–124

Примітки

1. Härdle, Wolfgang; Simar, Léopold (2007). Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. с. 321—330. doi:10.1007/978-3-540-72244-1_14. ISBN . (англ.)
2. Knapp, T. R. (1978). Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 85 (2): 410—416. doi:10.1037/0033-2909.85.2.410. (англ.)
3. Hotelling, H. (1936). Relations Between Two Sets of Variates. Biometrika. 28 (3–4): 321—377. doi:10.1093/biomet/28.3-4.321. JSTOR 2333955. (англ.)
4. Hsu, D.; Kakade, S. M.; Zhang, T. (2012). (PDF). Journal of Computer and System Sciences. 78 (5): 1460. arXiv:0811.4413. doi:10.1016/j.jcss.2011.12.025. Архів оригіналу (PDF) за 1 жовтня 2020. Процитовано 11 серпня 2017. (англ.)
5. Huang, S. Y.; Lee, M. H.; Hsiao, C. K. (2009). (PDF). Journal of Statistical Planning and Inference. 139 (7): 2162. doi:10.1016/j.jspi.2008.10.011. Архів оригіналу (PDF) за 13 березня 2017. Процитовано 11 серпня 2017. (англ.)
6. ^[en], J. T. Kent and J. M. Bibby (1979). Multivariate Analysis. ^[en]. (англ.)
7. Tofallis, C. (1999). Model Building with Multiple Dependent Variables and Constraints. Journal of the Royal Statistical Society: Series D (The Statistician). 48 (3): 371—378. arXiv:1109.0725. doi:10.1111/1467-9884.00195. (англ.)
8. Degani, A.; Shafto, M.; Olson, L. (2006). Canonical Correlation Analysis: Use of Composite Heliographs for Representing Multiple Patterns. (PDF). Lecture Notes in Computer Science. Т. 4045. с. 93. doi:10.1007/11783183_11. ISBN . Архів оригіналу (PDF) за 8 серпня 2017. Процитовано 11 серпня 2017. (англ.)
9. M. Haghighat, M. Abdel-Mottaleb, & W. Alhalabi (2016). Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security, 11(9), 1984-1996.