Historial de mensajes

En 1928, R.V.L. Hatle propuso la idea de cuantificación de información. Definió el logaritmo del número de valores simbólicos m como la cantidad de información, es decir, I=log2m. La persona que realizó una investigación profunda y sistemática sobre la cantidad de información fue C.E. Shannon, el fundador de la teoría de la información. En 1948, Shannon señaló que los símbolos dados por la fuente son aleatorios y que la cantidad de información en la fuente debe ser una función de la probabilidad, representada por la entropía de la información de la fuente, es decir, donde Pi representa la probabilidad de diferentes tipos de símbolos en la fuente, i= 1, 2,…,n.

Por ejemplo, si una fuente continua se cuantifica en cuatro capas con igual probabilidad, es decir, cuatro símbolos. La información proporcionada por cada símbolo de esta fuente debe ser la más consistente con la fórmula de Hatle I=log2m=log24=2bit. Esencialmente, la fórmula de Hartle es un caso especial de la fórmula de Equiprobability Shannon.

Contenido básico Las fuentes de información reales son en su mayoría fuentes de secuencias de memoria. Por lo general, es difícil calcular la entropía HL(U)( de un símbolo promedio en la fuente) solo después de dominar las características probabilísticas de todas las secuencias. L es el número de signos). Sería aún más sencillo si la fuente de la secuencia se redujera a un simple recorrido homogéneo de primer orden de la cadena de Markov. De acuerdo con la probabilidad condicional Pji del símbolo (es decir, la probabilidad de que el símbolo anterior sea I y el siguiente símbolo sea J), se puede obtener la probabilidad estable Pi de la fuente de cruce, y luego se puede obtener HL (U) de Pi y Pji. Como se muestra en la Figura 1.

H(U|V) se llama entropía condicional, es decir, la incertidumbre del siguiente símbolo U cuando se conoce el símbolo anterior V.

El volumen de información y la entropía de la información son conceptualmente diferentes. No puedes estar seguro de qué símbolo envió la fuente hasta que lo recibas. El propósito de la comunicación es permitir al destinatario eliminar dudas (incertidumbre) sobre la fuente después de aceptar el símbolo, de modo que la incertidumbre sea cero. Esto muestra que la cantidad de información que el receptor obtiene de la fuente del remitente es una cantidad relativa (H(U)-0). La entropía de la información es una cantidad física que describe las características estadísticas de la propia fuente. Representa la incertidumbre media de los símbolos generados por la fuente, haya receptor o no, y siempre es una cantidad objetiva.

Obtener información sobre un símbolo v de otro símbolo u en la fuente.

La cantidad se puede expresar mediante información mutua, es decir,

I(U; V) = H(U)-H(U|V)

Indica recibir v Posteriormente, todavía hay dudas (incertidumbre) sobre el símbolo fuente u. En circunstancias normales

I (U; V) ≤ H (U)

Es decir, la información obtenida es menor que la dada por la entropía de información de la fuente.

Las fuentes de información continua pueden tener valores infinitos, y la información de salida también es infinita, pero la información mutua es la diferencia entre dos valores de entropía, que es una cantidad relativa. De esta forma, independientemente de si la fuente es continua o discreta, la cantidad de información obtenida por el receptor sigue manteniendo todas las características de la información y es limitada.

La introducción de la información permite que la comunicación, la teoría de la información y disciplinas afines se basen en el análisis cuantitativo, asegurando el establecimiento y desarrollo de teorías relevantes.