La entropía y la relación que guarda con "información"

Escultura dedicada a la Entropía

Información y Entropía:

La entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. Se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". Puede ser considerada como una medida de la incertidumbre, y la información tiene que ver con cualquier proceso que permite acotar, reducir o eliminar la incertidumbre.

En cambio, el concepto información es aquello que nos reduce la incertidumbre. Cuanto menos probable es un suceso, mayor información nos aporta conocer este suceso de antemano.

Entonces, la relación que guardan estos dos conceptos es que mientras disminuyamos una de ellas la otra sera aumentará. Es decir, por ejemplo, a mayor información tengamos sobre un tema menor incertidumbre tendremos acerca de ello y por ello menor entropía.