Ентропія Цалліса

У статистичній термодинаміці ентропія Цалліса — узагальнення стандартної ентропії Больцмана — Гіббса, запропоноване Константіно Цаллісом (Constantino Tsallis) 1988 року для випадку неекстенсивних (неадитивних) систем. Його гіпотеза базується на припущенні, що сильна взаємодія в термодинамічно аномальній системі призводить до нових ступенів вільності, до зовсім іншої статистичної фізики небольцманівського типу.

Визначення та основні відомості

Нехай ${\displaystyle P}$ — розподіл імовірностей і ${\displaystyle \mu }$ — будь-яка міра на ${\displaystyle X}$, для якої існує абсолютно неперервна відносно ${\displaystyle \mu }$ функція ${\displaystyle p={\frac {dP}{d\mu }}}$. Тоді ентропія Цалліса визначається як

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).}$

Зокрема, для дискретної системи, що перебуває в одному з ${\displaystyle N}$ доступних станів з розподілом імовірностей ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\}}$ ,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)}$.

У разі міри Лебега ${\displaystyle \mu =x}$, тобто коли ${\displaystyle P}$ — неперервний розподіл з густиною ${\displaystyle p(x)}$, заданою на множині ${\displaystyle X}$,

${\displaystyle S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)}$.

У цих формулах ${\displaystyle k}$ — деяка додатна константа, яка визначає одиницю вимірювання ентропії й у фізичних формулах служить для зв'язки розмірностей, як, наприклад, стала Больцмана. З точки зору задачі оптимізації ентропії ця константа є несуттєвою, тому для спрощення часто вважають ${\displaystyle k=1}$.

Параметр ${\displaystyle q}$ — безрозмірна величина (${\displaystyle q\in R}$), яка характеризує ступінь неекстенсивності (неадитивності) даної системи. У границі при ${\displaystyle q\to 1}$, ентропія Цалліса збігається до ентропії Больцмана — Гіббса. При ${\displaystyle q>0}$ ентропія Цалліса є увігнутим функціоналом від розподілу ймовірностей і, як звичайна ентропія, досягає максимуму за рівномірного розподілу. При ${\displaystyle q<0}$ функціонал є опуклим і за рівномірного розподілу досягає мінімуму. Тому для пошуку рівноважного стану ізольованої системи при ${\displaystyle q>0}$ ентропію Цалліса потрібно максимізувати, а при ${\displaystyle q<0}$ — мінімізувати. Значення параметра ${\displaystyle q=0}$ — це вироджений випадок ентропії Цалліса, коли вона не залежить від ${\displaystyle P}$, а залежить лише від ${\displaystyle \mu (X)}$, тобто від розміру системи (від ${\displaystyle N}$ у дискретному випадку).

У безперервному випадку іноді вимагають, щоб носій випадкової величини ${\displaystyle X}$ був безрозмірним. Це забезпечує коректність функціоналу ентропії з точки зору розмірності.

Історично першими вираз для ентропії Цалліса (точніше, для часткового її випадку при ${\displaystyle k={q-1 \over 1-2^{1-q}}}$) отримали Дж. Хаврда і Ф. Чарват (J. Havrda і F. Charvát) 1967 року. Разом з тим, при ${\displaystyle q>0}$ ентропія Цалліса є частковим випадком f-ентропії (при ${\displaystyle q<0}$ f-ентропією є величина, протилежна ентропії Цалліса).

Деякі співвідношення

Ентропію Цалліса можна отримати зі стандартної формули для ентропії Больцмана — Гіббса заміною використовуваної в ній функції ${\displaystyle \ln x}$ функцією

${\displaystyle \ln _{q}x={x^{q-1}-1 \over q-1}}$

— так званий q-деформований логарифм або просто q-логарифм (у границі при ${\displaystyle q\to 1}$ збігається з логарифмом). К. Цалліс використовував дещо іншу формулу q-логарифма, яка зводиться до наведеної тут заміною параметра ${\displaystyle q}$ на ${\displaystyle 2-q}$.

Ще один спосіб отримати ентропію Цалліса ґрунтується на співвідношенні, справедливому для ентропії Больцмана — Гіббса:

${\displaystyle S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}}$.

Неважко бачити, що якщо замінити в цьому виразі звичайну похідну на q-похідну (відому також як похідна Джексона), виходить ентропія Цалліса:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}}$.

Аналогічно для неперервного випадку:

${\displaystyle S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx}$.

Неекстенсивність (неадитивність)

Нехай є дві незалежні системи ${\displaystyle A}$ і ${\displaystyle B}$, тобто такі системи, що в дискретному випадку спільна ймовірність появи двох будь-яких станів ${\displaystyle a\in A}$ і ${\displaystyle b\in B}$ в цих системах дорівнює добутку відповідних імовірностей:

${\displaystyle \operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)}$,

а в неперервному — спільна густина розподілу ймовірностей дорівнює добутку відповідних густин:

${\displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)}$ ,

де ${\displaystyle x\in X}$, ${\displaystyle y\in Y}$ — області значень випадкової величини в системах ${\displaystyle A}$ і ${\displaystyle B}$ відповідно.

На відміну від ентропії Больцмана — Гіббса і ентропії Реньї, ентропія Цалліса, загалом, не володіє адитивністю, і для сукупності систем виконується

${\displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)}$.

Оскільки умова адитивності для ентропії має вигляд

${\displaystyle S(AB)=S(A)+S(B)}$ ,

відхилення параметра ${\displaystyle q}$ від ${\displaystyle 1}$ характеризує неекстенсивність (неадитивність) системи. Ентропія Цалліса є екстенсивною тільки при ${\displaystyle q=1}$.

Дивергенція Цалліса

Поряд з ентропією Цалліса, розглядають також сімейство несиметричних мір розбіжності (дивергенції) Цалліса між розподілами ймовірностей зі спільним носієм. Для двох дискретних розподілів з імовірністю ${\displaystyle A=\{a_{i}\}}$ і ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$, дивергенція Цалліса визначається як

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)}$.

У неперервному випадку, якщо розподіли ${\displaystyle A}$ і ${\displaystyle B}$ задані густинами ${\displaystyle a(x)}$ і ${\displaystyle b(x)}$ відповідно, де ${\displaystyle x\in X}$ ,

${\displaystyle D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)}$.

На відміну від ентропії Цалліса, дивергенція Цалліса визначена при ${\displaystyle q>0}$. Несуттєва додатна константа ${\displaystyle k}$ в цих формулах, як і для ентропії, задає одиницю виміру дивергенції і часто опускається (покладається рівною ${\displaystyle 1}$). Дивергенція Цалліса є окремим випадком (з точністю до несуттєвої константи) і, як α-дивергенція, є опуклою за обома аргументами за всіх ${\displaystyle q>0}$. Дивергенція Цалліса також є окремим випадком .

Дивергенці. Цалліса можна отримати з формули для дивергенції Кульбака — Лейблера підстановкою в неї q-деформованого логарифма, визначеного вище, замість функції ${\displaystyle \ln x}$. У границі при ${\displaystyle q\to 1}$ дивергенція Цалліса сходиться до дивергенції Кульбака — Лейблера.

Зв'язок формалізмів Реньї та Цалліса

Ентропія Реньї та ентропія Цалліса еквівалентні з точністю до монотонного перетворення, що не залежить від розподілу станів системи. Те саме стосується відповідних дивергенцій. Розглянемо, наприклад, ентропію Реньї для системи ${\displaystyle P}$ з дискретним набором станів ${\displaystyle \{p_{i}|i=1,2,...,N\}}$:

${\displaystyle {\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}}$, ${\displaystyle q\geq 0}$.

Дивергенція Реньї для дискретних розподілів з імовірністю ${\displaystyle A=\{a_{i}\}}$ і ${\displaystyle B=\{b_{i}\}}$, ${\displaystyle i=1,2,...,N}$:

${\displaystyle {\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}}$, ${\displaystyle q>0}$.

У цих формулах додатна константа ${\displaystyle {\widetilde {k}}}$ має таке саме значення, як і ${\displaystyle k}$ у формалізмі Цалліса.

Легко бачити, що

${\displaystyle S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))}$ ,

${\displaystyle D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))}$ ,

де функція

${\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}}$

визначена на всій числовій осі і неперервно зростає за ${\displaystyle x}$ (при ${\displaystyle q=1}$ вважаємо ${\displaystyle T_{q}(x)={k \over {\widetilde {k}}}x}$). Наведені співвідношення мають місце і в неперервному випадку.

Попри наявність зв'язку з цим, слід пам'ятати, що функціонали у формалізмі Реньї та Цалліса мають різні властивості:

• ентропія Цалліса, загалом, не адитивна, тоді як ентропія Реньї адитивна при всіх ${\displaystyle q>0}$;
• ентропія і дивергенція Цалліса є увігнутими або опуклими (крім ${\displaystyle q=0}$), тоді як ентропія і дивергенція Реньї, загалом, не мають ні тієї, ні іншої властивості.

Примітки

1. Tsallis, C. Possible generalization of Boltzmann-Gibbs statistics // ^[en] : journal. — 1988. — Vol. 52 (16 June). — P. 479—487. — Bibcode:1988JSP….52..479T. — DOI:10.1007/BF01016429.
2. Зарипов Р. Г. [1] — Казань : Изд-во Казан. гос. техн. ун-та, 2005. — 364 с. з джерела 18 травня 2021
3. Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29 (16 червня). — С. 1—35. з джерела 12 травня 2021. Процитовано 12 травня 2021.
4. Havrda, J.; Charvát, F. Quantification method of classification processes. Concept of structural α-entropy // Kybernetika : journal. — 1967. — Vol. 3, no. 1 (16 June). — P. 30—35. з джерела 10 грудня 2020. Процитовано 12 травня 2021.
5. Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2 (16 червня). — С. 191—213.
6. Oikonomou T., Bagci G. B. A note on the definition of deformed exponential and logarithm functions // Journal of Mathematical Physics. — 2009. — Т. 50, вип. 10 (16 червня). — С. 1—9. з джерела 12 травня 2021. Процитовано 12 травня 2021.
7. Tsallis C. Nonextensive statistics: Theoretical, experimental and computational evidences and connections // Brazilian Journal of Physics. — 1999. — Т. 29, вип. 1 (16 червня). — С. 53. з джерела 12 травня 2021. Процитовано 12 травня 2021.
8. Nielsen F., Nock R. On Renyi and Tsallis entropies and divergences for exponential families // arXiv:1105.3259. — 2011. — 16 червня. — С. 1—7. з джерела 12 травня 2021. Процитовано 12 травня 2021.
9. Waters A. Alpha divergence // STAT 631 / ELEC 633:Graphical Models. — Rice Univercity, 2008. — 16 червня. — С. 1—4. з джерела 25 лютого 2021. Процитовано 12 травня 2021.
10. Xu D., Erdogmuns D. Renyi’s Entropy, Divergence and Their Nonparametric Estimator // J.C. Principe, Information Theoretic Learning: Renyi’s Entropy and Kernel Perspectives. — Springer Science+Business Media, LLC, 2010. — 16 червня. — С. 47—102. з джерела 2 лютого 2019. Процитовано 12 травня 2021.