Questa pagina sull'argomento Matematica sembra trattare argomenti unificabili alla pagina Entropia (teoria dell'informazione)#Entropia congiunta.
L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.
Indice
1Definizione
2Proprietà
2.1Maggiore o uguale delle entropie individuali
2.2Minore o uguale alla somma delle entropie individuali
3Relazioni con altre misure di entropia
Definizione
L'entropia congiunta di due variabili e è definita come:
dove e sono valori di and , rispettivamente, è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:
.
Per un numero di variabili maggiore di due la formula si estende a:
in cui sono valori rispettivamente di , è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:
.
Proprietà
Maggiore o uguale delle entropie individuali
L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme
Minore o uguale alla somma delle entropie individuali
L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se e sono statisticamente indipendenti.
Relazioni con altre misure di entropia
L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale
e della mutua informazione
Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.