У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу .
Визначення
Перехресна ентропія двох розподілів і на тому самому ймовірнісному просторі визначається наступним чином:
- .
Вираз можна переформулювати за допомогою — дивергенції Кульбака — Лейблера від до (також відома як відносна ентропія відносно )
- ,
де — ентропія .
Для (дискретного) випадку і над одним і тим же [en] це значить, що
|
| ( ) |
Для (неперервного) розподілу аналогічна ситуація. Ми припускаємо, що та абсолютно неперервні відносно деякої міри (зазвичай є мірою Лебега на борелевій σ-алгебрі). Нехай та будуть функціями густини ймовірностей та відносно . Тоді
|
| ( ) |
NB: Запис іноді використовується як для перехресної ентропії, так і для спільної ентропії і .
Мінімізація перехресної ентропії
Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.
Застосування у машинному навчанні
У контексті машинного навчання перехресна ентропія — це міра похибки для задачі [en]. Зазвичай «істинний» розподіл (той, якому намагається відповідати алгоритм машинного навчання) виражається в термінах унітарного кодування.
Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:
Pr(Class A) | Pr(Class B) | Pr(Class C) |
---|---|---|
0.0 | 1.0 | 0.0 |
Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має 0% ймовірності бути класом A, 100% ймовірності бути класом B і 0% ймовірністю бути класом C.
Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:
Pr(Class A) | Pr(Class B) | Pr(Class C) |
---|---|---|
0.10 | 0.70 | 0.20 |
Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як функцію втрати. Застосуємо формулу (Рів. 1):
Див. також
- Метод перехресної ентропії
- Інформаційна ентропія
- Умовна ентропія
- Метод максимальної правдоподібності
- Взаємна інформація
Ця стаття не містить . (січень 2017) |
В іншому мовному розділі є повніша стаття Cross entropy(англ.). Ви можете допомогти, розширивши поточну статтю за допомогою з англійської. (січень 2017)
|
Це незавершена стаття з інформатики. Ви можете проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U teoriyi informaciyi perehresna entropiya mizh dvoma rozpodilami jmovirnosti p displaystyle p ta q displaystyle q nad spilnim prostorom podij vimiryuye serednyu kilkist bit neobhidnih dlya vpiznannya podiyi z prostoru podij yaksho shema koduvannya sho vikoristovuyetsya bazuyetsya na rozpodili jmovirnostej q displaystyle q zamist istinnogo rozpodilu p displaystyle p ViznachennyaPerehresna entropiya dvoh rozpodiliv p displaystyle p i q displaystyle q na tomu samomu jmovirnisnomu prostori viznachayetsya nastupnim chinom H p q Ep log q displaystyle mathrm H p q mathrm E p log q Viraz mozhna pereformulyuvati za dopomogoyu DKL p q displaystyle D mathrm KL p q divergenciyi Kulbaka Lejblera vid q displaystyle q do p displaystyle p takozh vidoma yak vidnosna entropiya p displaystyle p vidnosno q displaystyle q H p q H p DKL p q displaystyle mathrm H p q mathrm H p D mathrm KL p q de H p displaystyle H p entropiya p displaystyle p Dlya diskretnogo vipadku p displaystyle p i q displaystyle q nad odnim i tim zhe en X displaystyle mathcal X ce znachit sho H p q x Xp x log q x displaystyle H p q sum x in mathcal X p x log q x Riv 1 Dlya neperervnogo rozpodilu analogichna situaciya Mi pripuskayemo sho p displaystyle p ta q displaystyle q absolyutno neperervni vidnosno deyakoyi miri r displaystyle r zazvichaj r displaystyle r ye miroyu Lebega na borelevij s algebri Nehaj P displaystyle P ta Q displaystyle Q budut funkciyami gustini jmovirnostej p displaystyle p ta q displaystyle q vidnosno r displaystyle r Todi H p q XP x log Q x dr x displaystyle H p q int mathcal X P x log Q x dr x Riv 2 NB Zapis H p q displaystyle mathrm H p q inodi vikoristovuyetsya yak dlya perehresnoyi entropiyi tak i dlya spilnoyi entropiyi p displaystyle p i q displaystyle q Minimizaciya perehresnoyi entropiyiMinimizaciya perehresnoyi entropiyi chasto vikoristovuyetsya pid chas optimizaciyi ta dlya ocinki imovirnostej ridkisnih vipadkiv Zastosuvannya u mashinnomu navchanniU konteksti mashinnogo navchannya perehresna entropiya ce mira pohibki dlya zadachi en Zazvichaj istinnij rozpodil toj yakomu namagayetsya vidpovidati algoritm mashinnogo navchannya virazhayetsya v terminah unitarnogo koduvannya Napriklad pripustimo sho dlya konkretnogo navchalnogo ekzemplyara spravzhnoyu mitkoyu ye B z mozhlivih mitok A B i C Takim chinom unitarnij rozpodil dlya cogo navchalnogo ekzemplyara bude Pr Class A Pr Class B Pr Class C 0 0 1 0 0 0 Mi mozhemo interpretuvati navedenij vishe istinnij rozpodil tak sho navchalnij ekzemplyar maye 0 jmovirnosti buti klasom A 100 jmovirnosti buti klasom B i 0 jmovirnistyu buti klasom C Teper pripustimo sho algoritm mashinnogo navchannya prognozuye takij rozpodil jmovirnostej Pr Class A Pr Class B Pr Class C 0 10 0 70 0 20 Naskilki blizkij prognozovanij rozpodil do spravzhnogo Same ce viznachaye perehresna entropiya yaksho yiyi obrano yak funkciyu vtrati Zastosuyemo formulu Riv 1 H p q 0 0 ln 0 1 1 0 ln 0 7 0 0 ln 0 2 ln 0 7 0 36 displaystyle H p q 0 0 ln 0 1 1 0 ln 0 7 0 0 ln 0 2 ln 0 7 approx 0 36 Div takozhMetod perehresnoyi entropiyi Informacijna entropiya Umovna entropiya Metod maksimalnoyi pravdopodibnosti Vzayemna informaciyaCya stattya ne mistit posilan na dzherela Vi mozhete dopomogti polipshiti cyu stattyu dodavshi posilannya na nadijni avtoritetni dzherela Material bez dzherel mozhe buti piddano sumnivu ta vilucheno sichen 2017 V inshomu movnomu rozdili ye povnisha stattya Cross entropy angl Vi mozhete dopomogti rozshirivshi potochnu stattyu za dopomogoyu perekladu z anglijskoyi sichen 2017 Divitis avtoperekladenu versiyu statti z movi anglijska Perekladach povinen rozumiti sho vidpovidalnist za kincevij vmist statti u Vikipediyi nese same avtor redaguvan Onlajn pereklad nadayetsya lishe yak korisnij instrument pereglyadu vmistu zrozumiloyu movoyu Ne vikoristovujte nevichitanij i nevidkorigovanij mashinnij pereklad u stattyah ukrayinskoyi Vikipediyi Mashinnij pereklad Google ye korisnoyu vidpravnoyu tochkoyu dlya perekladu ale perekladacham neobhidno vipravlyati pomilki ta pidtverdzhuvati tochnist perekladu a ne prosto skopiyuvati mashinnij pereklad do ukrayinskoyi Vikipediyi Ne perekladajte tekst yakij vidayetsya nedostovirnim abo neyakisnim Yaksho mozhlivo perevirte tekst za posilannyami podanimi v inshomovnij statti Dokladni rekomendaciyi div Vikipediya Pereklad Ce nezavershena stattya z informatiki Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi