¿Qué quiere decir Shannon con "información", uno de los fundamentos de la teoría de la información?

Claude Shannon (1916-2001) nació en Petoskey, Michigan, EE. UU. en 1916. Creció en la ciudad de Gaylord, que en ese momento tenía sólo 3.000 habitantes. Mi padre era juez en esta ciudad y su tocayo era Claude Elwood Shannon. Mi madre era la directora de la escuela secundaria de la ciudad. Su nombre era Mabel Wolfe Shannon. Creció en un ambiente bien educado, pero sus padres parecen haber tenido menos influencia científica sobre él que su abuelo. El abuelo de Shannon era un granjero e inventor que inventó la lavadora y muchas máquinas agrícolas, lo que tuvo un impacto directo en Shannon. Además, la familia Shannon tiene un parentesco lejano con el gran inventor Thomas Alva Edison (1847-1931).

Shannon pasó la mayor parte de su tiempo en Bell Labs y MIT. Después de hacerse famosa, Shannon y Mary Elizabeth Moore se casaron el 27 de marzo de 1949. Se conocieron en Bell Labs, donde Mary trabajaba como analista de datos. Tuvieron cuatro hijos: tres hijos, Robert, James y Andrew Moore, y una hija, Margaretta Catherine. Más tarde, dos nietas encantadoras vinieron a mi lado.

El 24 de febrero de 2006, Shannon murió en Medford, Massachusetts, a la edad de 85 años. Los obituarios de Bell Labs y MIT honraron a Shannon como fundadora de la teoría de la información y la era de las comunicaciones digitales.

Shannon obtuvo una licenciatura en matemáticas e ingeniería eléctrica de la Universidad de Michigan en 1936 y luego ingresó a la escuela de posgrado en el Instituto Tecnológico de Massachusetts.

Shannon obtuvo una maestría en ingeniería eléctrica del MIT en 1938. Su tesis de maestría se tituló "Análisis simbólico de circuitos de relés e interruptores". En ese momento, había notado la similitud entre los circuitos de conmutación telefónica y el álgebra booleana, es decir, el "verdadero" y el "falso" del álgebra booleana correspondían al "encendido" y "apagado" del sistema de circuitos, ambos representados por 1 y 0. Entonces, ¿utilizó el análisis de álgebra booleana para optimizar el circuito de conmutación y sentó las bases teóricas para los circuitos digitales? 9?¿Estás triste? El profesor Howard Gardner dijo: "Esta puede ser la tesis de maestría más importante y famosa de este siglo".

En 1940, Shannon recibió un doctorado en matemáticas del Instituto Tecnológico de Massachusetts, pero su tesis doctoral fue sobre genética humana, titulado "El álgebra de la genética teórica". Esto demuestra que los intereses científicos de Shannon eran muy amplios y posteriormente publicó muchos artículos influyentes en diferentes disciplinas.

Mientras estudiaba su carrera, también dedicó parte de su tiempo a aprender analizadores diferenciales del profesor Vannevar Bush. Este analizador fue una de las primeras computadoras de simulación mecánica utilizada para obtener soluciones numéricas a ecuaciones diferenciales ordinarias. En 1941, Shannon publicó "La teoría matemática de los analizadores diferenciales" y escribió: "La mayoría de los resultados se dan en forma de teoremas demostrados. Lo más importante es tratar con algunas condiciones, algunas condiciones pueden generar una o más funciones". de variables, algunas condiciones pueden permitir la resolución de ecuaciones diferenciales ordinarias. También se dan algunas precauciones, y se presentan la aproximación de la función (no se pueden producir valores exactos), la aproximación de la tasa de ajuste y el método de tasa de control automático. dado”

En 1941, Shannon ingresó a Bell Telephone Company y trabajó en Bell Labs hasta 1972, de 24 a 55 años, 31 años. Se convirtió en profesor visitante en el MIT en 1956, profesor titular en 1958 y se jubiló en 1978.

La gente describe la vida de Shannon. Siempre trabajaba a puerta cerrada durante el día y iba en su monociclo a Bell Labs por la noche. Su colega D. Slepian escribió: "Todos llevábamos el almuerzo al trabajo y jugábamos a juegos de matemáticas en la pizarra después de cenar, pero Claude rara vez venía a casa. "Siempre trabajaba a puerta cerrada. Sin embargo, si quieres encontrarlo, él te ayudará con paciencia. Puede captar la esencia del problema de inmediato. Es un genio. De la gente que conozco, sólo uso esta palabra para él. "

Shannon colaboró ​​con John Riordan y publicó un artículo sobre el número de terminales dobles en redes en serie y paralelas en 1942. Este artículo fue promovido por Percy A. MacMahon (1854-1929) publicado en "Electrician" en 1892. Tesis de teoría. 1948, se funda la Teoría de la Información.

Además de trabajar en el Instituto de Estudios Avanzados de Princeton durante un año, pasé la mayor parte de mi tiempo en el MIT y el laboratorio Bell.

Cabe señalar que durante la Segunda Guerra Mundial, el Dr. Shannon también fue un famoso descifrador de códigos (esto me recuerda al Dr. Turing, que era cuatro años mayor que él). Su equipo de descifrado de códigos en Bell Labs se centró en rastrear aviones y cohetes alemanes, especialmente durante la guerra relámpago de cohetes alemanes contra Gran Bretaña. Shannon publicó otro artículo importante, "La teoría de la comunicación de los sistemas secretos", en 65438-0949. Es en base a esta práctica de trabajo que su importancia es transformar la comunicación secreta del arte a la ciencia.

Shannon publicó una teoría matemática de las comunicaciones en el Bell System Technical Journal del 65438 al 0948. Los papeles están firmados por Shannon y Vivo. Warren Weaver (1894-1978), entonces director de la División de Ciencias Naturales de la Fundación Rockefeller, escribió el prólogo. Más tarde, Shannon continuó trabajando en tecnología, mientras Weaver estudiaba cuestiones filosóficas en teoría de la información. Por cierto, cuando el artículo se publicó por primera vez, utilizó el artículo indefinido A, pero cuando se incluyó en la colección de ensayos, se cambió al artículo definido The.

El concepto de entropía

Una característica importante de la teoría de Shannon es el concepto de entropía, que demuestra que la entropía es igual a la incertidumbre de la cantidad de información. La entropía fue introducida una vez por Boltzmann en la segunda ley de la termodinámica. Podemos entenderla como el desorden del movimiento molecular. La entropía de la información tiene un significado similar. Por ejemplo, en el procesamiento de información china, la entropía de información promedio estática de los caracteres chinos es relativamente grande: 9,65 bits para el chino y 4,03 bits para el inglés. Esto muestra que la complejidad del chino es mayor que la del inglés, lo que refleja que el chino tiene significados ricos y palabras simples, pero también es difícil de procesar. Una gran entropía de información significa una gran incertidumbre. Por lo tanto, debemos realizar una investigación profunda y buscar avances profundos en el procesamiento de información chino. No podemos creer ciegamente que los caracteres chinos son los más bellos del mundo y así llegar a la conclusión errónea de que los caracteres chinos son los más fáciles de procesar.

Como todos sabemos, masa, energía e información son tres cantidades muy importantes.

¿La gente sabe desde hace mucho tiempo que la masa de una sustancia medida con una báscula o balanza es grande? h, tome (4) dosis de ⒐ ⒐ ⒐ ⒐ ⒐ ⒐ diluida? ¿Por qué? A mediados del siglo IX, con el esclarecimiento de la equivalencia mecánica del calor y el establecimiento de la ley de conservación de la energía, poco a poco se fue aclarando. La palabra energía es su nombre colectivo, y la medición de la energía se soluciona mediante la aparición de nuevas unidades como calorías y julios.

Sin embargo, el conocimiento de las palabras, los números, las imágenes y los sonidos existe desde hace miles de años. Pero cuáles son sus nombres comunes y cómo unificar las medidas no se propuso correctamente hasta finales de 2019 y mucho menos cómo solucionarlos. A principios del siglo XX, con el desarrollo del telégrafo, el teléfono, la fotografía, la televisión, la radio y el radar, el problema de cómo medir la información en las señales se puso vagamente en la agenda.

R.V. H. Harley en 1928 planteó el problema de tomar N símbolos de D símbolos diferentes para formar una palabra. Si cada símbolo tiene la misma probabilidad y se selecciona de forma completamente aleatoria, se pueden obtener DN diferentes palabras. Tome uno específico de estas palabras, correspondiente a una cantidad de información I. Hartley sugirió que la cantidad de información se expresara mediante la cantidad N log D, es decir, I = I = N log D, donde log representa el logaritmo con base 10. . Más tarde, Weiner, fundador de la cibernética en 1949, también estudió el problema de la medición de información y lo condujo a la segunda ley de la termodinámica.

Pero Shannon es la figura central que dio el modelo matemático básico de transmisión de información. Las docenas de páginas del artículo de Shannon "La teoría matemática de la comunicación" de 65438 a 0948 se convirtieron en un hito en el nacimiento oficial de la teoría de la información. En su modelo matemático de comunicación, planteó explícitamente la cuestión de la medición de la información. Extendió la fórmula de Hartley a situaciones con diferentes probabilidades pi, y obtuvo la famosa fórmula para calcular la entropía de la información h:

H=∑-pi logaritmo pi

Si el cálculo es El logaritmo de log se basa en 2, entonces la entropía de la información calculada está en bits. Palabras como byte, KB, MB y GB, que se utilizan ampliamente en las computadoras y las comunicaciones hoy en día, evolucionaron a partir de bits. La aparición de los "bits" indica que los humanos saben medir la cantidad de información. La teoría de la información de Shannon contribuyó decisivamente a definir el concepto de cantidad de información.

De hecho, la motivación original de Shannon era eliminar el ruido de los teléfonos móviles. Dio un límite superior a la velocidad de la comunicación. Esta conclusión se aplicó primero a los teléfonos, luego a la fibra óptica y ahora a las comunicaciones inalámbricas. Hoy en día podemos realizar claramente llamadas al extranjero o llamadas por satélite, lo que está estrechamente relacionado con la mejora de la calidad de los canales de comunicación.

Claude Shannon no es particularmente conocido por el público, pero es uno de los pocos científicos y pensadores que hicieron que nuestro mundo fuera instantáneamente comunicable. Es miembro de la Academia Nacional de Ciencias, la Academia Nacional de Ingeniería, la Royal Society y la American Philosophical Society. Recibió muchos honores y premios. Por ejemplo, Premio Morris de 1949, Premio Ballantine de 1955, Premio Kelly de 1962, Medalla Nacional de Ciencias de 1966, Medalla de Honor del IEEE, Premio Jacquard de 1978, Medalla Fritz de 1983, 650. Los títulos honoríficos que recibió son demasiado numerosos para mencionarlos aquí.

Hoy extrañamos a Shannon y deberíamos estar familiarizados con sus dos contribuciones principales: una es el concepto de teoría de la información y entropía de la información; la otra es la lógica simbólica y la teoría del cambio. Debemos aprender de su espíritu científico de curiosidad, énfasis en la práctica, búsqueda de la perfección y nunca estar satisfecho. Esta es una experiencia importante para su éxito.

Materiales de referencia:

/question/12396945.html? si=3