Ентропі́йне кодува́ння — кодування послідовності значень з можливістю однозначного відновлення з метою зменшення обсягу даних (довжини послідовності) за допомогою усереднення ймовірностей появи елементів у закодованій послідовності.
Передбачається, що до кодування окремі елементи послідовності мають різну ймовірність появи. Після кодування в результуючій послідовності ймовірності появи окремих символів практично однакові (ентропія на символ максимальна).
Розрізняють декілька варіантів кодів:
- Зіставлення кожному елементу вхідної послідовності різного числа елементів результуючої послідовності. Чим більше імовірність появи вхідного елемента, тим коротше відповідна результуюча послідовність. Прикладом можуть служити код Шеннона — Фано, код Хаффмана.
- Зіставлення кількох елементів вхідної послідовності фіксованого числа елементів кінцевої послідовності. Прикладом є .
- Інші структурні коди, засновані на операціях з послідовністю символів.
Прикладом є кодування довжин серій. Якщо приблизні характеристики ентропії потоку даних попередньо відомі, може бути корисний простіший статичний код, як-от Унарне кодування, , , код Голомба або .
Згідно з теоремою Шеннона, існує межа стиснення без втрат, що залежить від ентропії джерела. Чим більш передбачувані одержувані дані, тим краще їх можна стиснути. Випадкова незалежна рівноймовірна послідовність стисненню без втрат не піддається.
Посилання
- Digital Signal Compression: Principles and Practice [ 25 червня 2018 у Wayback Machine.] (By William A. Pearlman, Amir Said, 2011, ), Chapter 4 "Entropy coding techniques" pp41-76
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Entropi jne koduva nnya koduvannya poslidovnosti znachen z mozhlivistyu odnoznachnogo vidnovlennya z metoyu zmenshennya obsyagu danih dovzhini poslidovnosti za dopomogoyu userednennya jmovirnostej poyavi elementiv u zakodovanij poslidovnosti Peredbachayetsya sho do koduvannya okremi elementi poslidovnosti mayut riznu jmovirnist poyavi Pislya koduvannya v rezultuyuchij poslidovnosti jmovirnosti poyavi okremih simvoliv praktichno odnakovi entropiya na simvol maksimalna Rozriznyayut dekilka variantiv kodiv Zistavlennya kozhnomu elementu vhidnoyi poslidovnosti riznogo chisla elementiv rezultuyuchoyi poslidovnosti Chim bilshe imovirnist poyavi vhidnogo elementa tim korotshe vidpovidna rezultuyucha poslidovnist Prikladom mozhut sluzhiti kod Shennona Fano kod Haffmana Zistavlennya kilkoh elementiv vhidnoyi poslidovnosti fiksovanogo chisla elementiv kincevoyi poslidovnosti Prikladom ye Inshi strukturni kodi zasnovani na operaciyah z poslidovnistyu simvoliv Prikladom ye koduvannya dovzhin serij Yaksho priblizni harakteristiki entropiyi potoku danih poperedno vidomi mozhe buti korisnij prostishij statichnij kod yak ot Unarne koduvannya kod Golomba abo Zgidno z teoremoyu Shennona isnuye mezha stisnennya bez vtrat sho zalezhit vid entropiyi dzherela Chim bilsh peredbachuvani oderzhuvani dani tim krashe yih mozhna stisnuti Vipadkova nezalezhna rivnojmovirna poslidovnist stisnennyu bez vtrat ne piddayetsya PosilannyaDigital Signal Compression Principles and Practice 25 chervnya 2018 u Wayback Machine By William A Pearlman Amir Said 2011 ISBN 9780521899826 Chapter 4 Entropy coding techniques pp41 76