Інформативність ознак

Інформати́вність озна́к — величина, яка кількісно характеризує придатність ознак (або їх набору) X для розпізнавання класів об'єктів. При цьому передбачається, що пред'явлені для об'єкти представляються сигналами х в просторі ознак ${\displaystyle \!X}$.

У розпізнаванні образів як інформативність ознак використовуються умовна ентропія, ймовірність помилки розпізнавання, , і інші величини. Найчастіше зустрічається умовна ентропія ${\displaystyle \!H}$:

${\displaystyle \!H(K/X)=-\sum \limits _{x}{p(x)}\sum \limits _{k}{P(k/x)}\log \,P(k/x)}$,

де ${\displaystyle \!K}$ — множина класів,

${\displaystyle \!X}$ — ознаки,

${\displaystyle \!k}$ — номер класу,

${\displaystyle \!x}$ — сигнал в просторі ознак ${\displaystyle \!X}$,

${\displaystyle \!p(x)}$ — густина ймовірності появи сигналу ${\displaystyle \!x}$,

${\displaystyle \!P(k/x)}$ — апостеріорна ймовірність класу ${\displaystyle \!k}$ за умови спостереження сигналу ${\displaystyle \!x}$.

У разі, коли ознаки ${\displaystyle \!X}$ дозволяють безпомилково указувати клас, умовна ентропія дорівнює нулю. При порівнянні двох наборів ознак інформативнішим є той, який характеризується меншою умовною ентропією. На практиці використовування інформативності ознак ускладнене через невідому ймовірність ${\displaystyle \!p(x)}$ і ${\displaystyle \!P(k/x)}$.

При виборі інформативних ознак частіше за все виходять з властивостей тих сигналів, які збираються класифікувати. Облік властивостей сигналів дозволяє приблизно судити про розподіли ${\displaystyle \!p(x)}$) і ${\displaystyle \!P(k/x)}$ і знаходити достатньо інформативні ознаки. Інформативність набору ознак слід відрізняти від інформативності окремих ознак набору.

Тільки у тому випадку, коли ознаки незалежні за умови окремих класів, інформативність набору ознак рівна сумі інформативності окремих ознак. В цьому випадку на підставі інформативності окремих ознак можна складати самі інформативні набори. Якщо ознаки залежні, інформативність ознак не виражається через інформативність окремих ознак, а вибір самих інформативних наборів по інформативності окремих ознак стає неможливим.

Див. також

• Теорія розпізнавання образів
• ТЕІ (ініціатива кодування тексту)

Література

1. Енциклопедія кібернетики : у 2 т. / за ред. В. М. Глушкова. — Київ : Гол. ред. Української радянської енциклопедії, 1973.
2. Ковалевский В. А. Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965;
3. Кульбак С. Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с. 364—381].

Т. К. Винцюк.