Entropie croisée

Cet article est une ébauche concernant les mathématiques.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

En théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » sur l'univers ${\displaystyle \Omega }$, si la distribution des événements est basée sur une loi de probabilité ${\displaystyle q}$, en utilisant un système de codage défini sur une distribution de référence ${\displaystyle p}$.

L'entropie croisée pour deux distributions ${\displaystyle p}$ et ${\displaystyle q}$ sur le même espace probabilisé est définie de la façon suivante :

${\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}$,

où ${\displaystyle H(p)}$ est l'entropie de ${\displaystyle p}$, et ${\displaystyle D_{\mathrm {KL} }(p||q)}$ est la divergence de Kullback-Leibler entre ${\displaystyle q}$ et ${\displaystyle p}$.

Pour ${\displaystyle p}$ et ${\displaystyle q}$ discrets, cela signifie

${\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x).\!}$

La formule est analogue pour des variables aléatoires continues :

${\displaystyle -\int _{X}p(x)\,\log q(x)\,dx.\!}$

NB: La notation ${\displaystyle \mathrm {H} (p,q)}$ est parfois utilisées à la fois pour l'entropie croisée et l'entropie conjointe de ${\displaystyle p}$ et ${\displaystyle q}$.

Minimisation de l'entropie croisée

La minimisation de l'entropie croisée est souvent utilisée en optimisation et en estimation de probabilité d'événements rares ; voir méthode de l'entropie croisée.

Quand on compare une distribution ${\displaystyle q}$ avec une distribution de référence ${\displaystyle p}$, l'entropie croisée et la divergence de Kullback-Leibler sont identiques à une constante additive près (quand ${\displaystyle p}$ est fixé): les deux atteignent leur minimum lorsque ${\displaystyle p=q}$, ce qui donne ${\displaystyle 0}$ pour la divergence KL, et ${\displaystyle \mathrm {H} (p)}$ pour l'entropie croisée.

Cependant, comme expliqué dans l'article divergence de Kullback-Leibler, la distribution ${\displaystyle q}$ est parfois la loi fixée a priori, et la distribution ${\displaystyle p}$ est optimisée pour être la plus proche possible de ${\displaystyle q}$, sous certaines contraintes. Dans ce cas les deux minimisations ne sont pas équivalentes. Cela conduit à des ambiguïtés dans la littérature, avec des auteurs tentant de réduire la confusion en définissant l'entropie croisée par ${\displaystyle D_{KL}(p||q)}$ plutôt que par ${\displaystyle H(p,q)}$.

Voir aussi

• Méthode de l'entropie croisée

• Entropie conditionnelle

Références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Cross entropy » (voir la liste des auteurs).

• Portail des mathématiques