L'entropie est un concept scientifique adapté à plusieurs sauces. En thermodynamique l'entropie est une mesure du désordre d'un système, c'est à dire la façon dont sont répartis ses élèments. Bour faire concis, ce concept a pu être introduit dans d'autres domaines, en particulier, en théorie de l'information. Je m'attarderai un peu sur la théorie de l'information et je reviendrai sur l'entropie.

L'entropie c'est une grande consommatrice d'information : plus un systèmes possède d'entropie, plus il faut d'information pour le décrire. Prenons le système suivant: un paragraphe de la langue française. On sait qu'en français certaines lettres apparaîssent plus souvent que d'autres. Les voyelles en particulier. Plus une lettre apparaît souvent, moins elle apporte d'information nous permettant de trouver à quel mot on à affaire. On pourrait penser l'inverse, mais il suffit de devenir cruciverbiste cinq minutes pour se rendre compte qu'un "E" ne suffit souvent pas à trouver le mot cherché. Là où un "K" permet de rapidement restreindre sa recherche. En d'autres termes, plus une lettre apparaît souvent, moins elle apporte d'information précise. Mais il ne faut pas se contenter de lettres prises toutes seules. Pour cela il faut avoir joué un peu au Scrabble, une lettre "Q" est presque toujours suivie d'un "U". C'est à dire que le "U" n'apporte quasiment aucune information de plus que le "Q". On pourrait inventer une lettre "Q-bis" qui pourrait presque toujours remplacer le "Q". Cette approche est utilisée dans les algorithmes de compression de données en informatique. Si vous avez mal saisi, on pourrait également présenter le principe du désormais célèbre "monter en haut". Puisqu'on ne monte jamais vers le bas, l'ajout de la direction est une information nulle.

L'entropie en théorie de l'information, c'est cette quantité d'information contenue dans chaque élèment du système. Pour qu'elle soit maximale, alors il faut que chaque élèment du système soit équiprobable. C'est à dire dans notre cas, que chaque lettre arrive en moyenne avec la même fréquence, et à chaque fois un ordre différent. On pourrait écrire des mots comme "anticonstitutionnellement" en quelques lettres seulement. En gros chaque combinaison de lettres correspondrait à un mot (si vous ne voyez pas ce que je veux dire, ça s'illustrerait comme az= manger, ay= carapace etc...). Vous êtes d'accord avec moi, une telle langue, serait extrêmement compliqué à retenir : il faudrait retenir toutes les informations de manière brute sans grande logique derrière. C'est là qu'on rejoint ce que j'expliquais au départ : l'entropie mesure le désordre.

Une illustration facile de l'augmentation de l'entropie, c'est le langage SMS : il condense l'information en moins de lettres mais devient très vite illisible. Si nous êtions capable de parler une langue optimisée, ce serait la perte des opérateurs téléphoniques, mais aussi des producteurs de logiciels de compression de données. En effet, arrivé à un certain point, on ne peut plus condenser l'information.

Ce qui est amusant, c'est qu'ici le désordre est l'information. Là où on penserait que le désordre brouillerait l'information, et bien c'est tout le contraire. Bref, je crois vous avoir assez embrouillé comme ça tout en vous ayant, je l'espère, appris un truc :) . J'en reparlerai plus tard, en attendant, propagez le désordre autour de vous, car c'est là l'ordre des chose.