Autoinformación
La autoinformación (inglés: self-information), también traducida como ontología de la información, fue propuesta por Claude Shannon y se utiliza para medir la información contenida en un solo evento cuando ocurre. Su unidad es bit o nats.
El significado de autoinformación incluye dos aspectos:
1. La autoinformación representa la incertidumbre del evento antes de que ocurra.
2. Dado que la información representa la ocurrencia del evento, la cantidad de información contenida en el evento es la cantidad de información proporcionada al destino de la información, y también es la cantidad de información requerida para resolver este incertidumbre.
Información mutua:
La información mutua (Información Mutua) es una medida de información útil en la teoría de la información. Puede considerarse como la información contenida en una variable aleatoria sobre otra variable aleatoria. contenido, o la incertidumbre de una variable aleatoria reducida al conocer otra variable aleatoria.
Información mutua entre eventos aleatorios discretos:
En otras palabras, la información mutua entre los eventos x e y es igual a "la autoinformación de x" menos "y bajo la condición de autoinformación". información de x”. ?I(x) representa la incertidumbre de x, I(x|y) representa la incertidumbre de x bajo la condición de que ocurra y, e I(x;y) representa el cambio en la incertidumbre de x después de que ocurre y. ?La diferencia entre las dos incertidumbres es la parte donde se elimina la incertidumbre. Representa lo que se ha determinado. En realidad, es la cantidad de información sobre x obtenida a partir de la ocurrencia de y. La información mutua puede ser positiva o negativa (pero la autoinformación debe ser positiva), por lo que la información mutua entre dos eventos cualesquiera no puede ser mayor que la autoinformación de cualquiera de los eventos. (Después de todo I(x;y)=I(y;x)=I(x)-I(x|y)=I(y)-I(y|x), ?I(x|y) y I (y|x) ¿son todos mayores que 0?)
Si el evento x proporciona información negativa sobre otro evento y, significa que la ocurrencia de x no conduce a la ocurrencia de y.
Desde otra perspectiva, si x e y son estadísticamente independientes, es decir, I(x|y)=I(y|x)=0, entonces I(x;y) = I(x). aparecerá ?Esta situación! , lo que también ilustra otro problema, es decir, la autoinformación de un evento es la cantidad máxima de información sobre el evento que cualquier otro evento puede proporcionar.
Entropía de información:
Significado:
1. Una vez generada la fuente, representa la cantidad promedio de información proporcionada por cada símbolo de fuente.
2. Antes de generar la fuente, representa la incertidumbre promedio de la fuente.
3. Indica el grado de aleatoriedad de la fuente de información. Cuanto mayor H (x), mayor es la aleatoriedad.
4. Cuando se genera la fuente de información, la incertidumbre es. eliminada y la entropía puede considerarse como La cantidad de información necesaria para resolver la incertidumbre de la fuente.
Cálculo de la entropía de la información:
La entropía de una fuente discreta es igual a la entropía de rama de todos los nodos (incluidos los nodos raíz, excluyendo las hojas) en el árbol de probabilidad raíz correspondiente. this La suma ponderada de las probabilidades de los nodos, es decir, H(x)=∑q(ui)H(ui) donde q(ui) es la probabilidad del nodo ui y H(ui) es la entropía de rama del nodo ui.
?Entropía condicional:
¿Además H(1/2) = 2* -1*(1/2)log2(1/2) = 1 H(1/) 3 )=3* -1*(1/3)log2(1/3) = log23 ≈1.585 bit/símbolo
Entropía conjunta:
Además H(1/3 , 1 /3, 1/3)=3* -1*(1/3) ?(1/3) = log23?≈1.585 bit/símbolo?, si solo hay una fracción 1/2 entre paréntesis de H ()?, entonces ¿Significa H(1/2, 1/2)? Después de todo, 2*1/2=1, de manera similar H(1/3) representa H(1/3, 1/3, 1/). 3)?
Propiedades básicas de la entropía:
1. ¿Simetría? 2. No negatividad 3. ¿Extensibilidad 4. ¿Aditividad?
? siguientes expresiones:
5. Extremalidad
Teorema de la entropía máxima discreta: Para un conjunto finito de variables aleatorias discretas, cuando los eventos en el conjunto ocurren con igual probabilidad, la entropía alcanza el valor máximo . Se puede demostrar mediante la desigualdad de divergencia:
Es decir, H(x)≤logn, el signo igual es válido solo cuando P(x) tiene una distribución de probabilidad igual.
6. Determinismo: cuando la probabilidad de cualquier evento en el conjunto de variables aleatorias es 1, la entropía es 0. En otras palabras, en general, aunque la fuente de información contiene muchos mensajes, solo hay un mensaje. Es casi seguro que aparezca, pero casi nunca aparecen otros mensajes, entonces esta es una fuente conocida. Desde la perspectiva del concepto de incertidumbre de la entropía, la incertidumbre de la fuente conocida es 0.
7 Convexidad: H. (p)=H(p1, p2, p3,..., pn) es una función estrictamente convexa de (p1, p2, p3,..., pn).
La relación entre varios tipos de entropía:
1. La relación entre entropía condicional y entropía de información
H(Y|X) ≤?H( Y ) ?Esto muestra que en el proceso de procesamiento de información, cuantas más condiciones existen, menor es la entropía.
2. La relación entre entropía conjunta y entropía de la información
H(X1X2...XN)≤∑i=1N?H(Xi) ?Si y solo si Xi son independientes uno del otro, la ecuación se cumple.
La unicidad de la función de entropía:
Si la función de entropía satisface: (1) ¿Es una función continua de probabilidad? (2) Cuando los símbolos fuente son igualmente probables, es ¿Es n (el número de símbolos fuente) una función creciente (H(X)=log2n? (3) ¿Aditividad? (H(XY) = H(X) H(Y|X)?=H(Y) H( X|Y) )
Entonces, la representación de la función de entropía es única, es decir, solo difiere de la fórmula definitoria en un factor constante.