У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWtMMlEwTDBWdWRISnZjSGt0YlhWMGRXRnNMV2x1Wm05eWJXRjBhVzl1TFhKbGJHRjBhWFpsTFdWdWRISnZjSGt0Y21Wc1lYUnBiMjR0WkdsaFozSmhiUzV6ZG1jdk1qVTJjSGd0Ulc1MGNtOXdlUzF0ZFhSMVlXd3RhVzVtYjNKdFlYUnBiMjR0Y21Wc1lYUnBkbVV0Wlc1MGNtOXdlUzF5Wld4aGRHbHZiaTFrYVdGbmNtRnRMbk4yWnk1d2JtYz0ucG5n.png)
Визначення
Спільна ентропія Шеннона (в бітах) двох змінних та
визначається як
де та
є конкретними значеннями
та
відповідно,
є трапляння цих значень разом, а
визначається як 0, якщо
.
Для понад двох змінних це визначення розширюється до
де є конкретними значеннями
відповідно,
є ймовірністю трапляння цих значень разом, а
визначається як 0, якщо
.
Властивості
Більша за окремі ентропії
Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.
Менша або дорівнює сумі окремих ентропій
Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом [en]. Ця нерівність є рівністю, якщо і лише якщо та
є (статистично незалежними).
Відношення до інших мір ентропії
Спільна ентропія використовується у визначенні (умовної ентропії)
,
і
Вона також використовується у визначенні (взаємної інформації)
У квантовій теорії інформації спільна ентропія узагальнюється до [en].
Джерела
- Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613—614. ISBN . (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет