El concepto de entropía fue propuesto por el físico alemán Clausius en 1865. Uno de los parámetros del estado de la materia utilizado originalmente para describir la "degradación de energía" y ampliamente utilizado en termodinámica.
Pero en 1948, Claude Elwood Shannon introdujo la entropía termodinámica en la teoría de la información, por lo que también se llama entropía de Shannon.
En teoría de la información, la entropía (inglés: entropy) es la cantidad promedio de información contenida en cada mensaje recibido, también conocida como entropía de información, entropía de fuente de información y autoinformación promedio.
Por tanto, la esencia de la entropía es el "grado de caos interno" de un sistema. Ahora tiene importantes aplicaciones en cibernética, teoría de la probabilidad, teoría de números, astrofísica, ciencias de la vida y otros campos.
Las diferentes disciplinas también tienen definiciones más específicas. Según el pensamiento matemático, estas definiciones extendidas específicas son autoconsistentes y unificadas por naturaleza.
El concepto de entropía (griego: entropía, inglés: entropía) fue propuesto por el físico alemán Clausius en 1865. En la fuente griega, significa "interno", es decir, "cambios en las propiedades internas de un sistema", y generalmente se registra como S en la fórmula.
En 1923, el científico alemán Planck vino a China para dar conferencias y utilizó la palabra entropía. Cuando el profesor Hu estaba traduciendo, tuvo una idea y añadió la palabra "上", traducción libre de la palabra "entropía", y creó la palabra "entropía", porque el cambio de entropía dS es el cociente de dQ dividido por T (temperatura ).