Archives du mot-clé entropie

Claude Shannon Théorie mathématique de la communication

Points de repère

Plus loin

Source Claude Shannon [1916-2001]. 1948, Mathematical Theory of Communications .

Introduction

Voilà un des textes les plus essentiels qu’on puisse connaître dans un siècle. Comme la théorie générale de Darwin. Ce texte définit une science de l’information, et une théorie mathématique, qui permet aujourd’hui d’écouter la 5ème symphonie de Mozart sur son i-phone, user de l’ordinateur, de la télévision, du fax. Claude Shannon a dématérialisé tout contenu de communication en suite logique de « bits ». Peu importe le contenu ( visuel, son, ..).

Avant Shannon, on pressentait qu’un message, télégraphique par exemple, pouvait être codifié, transporté, et « redéballé » pour le restituer à l’humain. Les laboratoires Bell travaillaient déjà sur le sujet. Robert Wiener, maître de Shannon, par ses réflexions sur la probabilité des états de transmission d’un signal a influencé cette théorie.

L’apport de Shannon a été de cristalliser des courants de pensée, et les formaliser dans ce texte essentiel.

On n’abordera pas ici les théorèmes relatifs à la capacité d’un canal de communication à transmettre la quantité d’information.

Système de communication.

Claude Shannon définit le système de communication [ schéma de Shannon ] :

Modèle de communication de Shannon

source → encodeur → signal → décodeur → destinataire, dans un contexte de brouillage

L’information.

Shannon définit la notion d’information, d’un point de vue scientifique.

L’information est une mesure scientifique. Elle n’a pas de lien avec la signification en tant que telle d’un message. Il s’agit bien d’une théorie des signaux. On ne s’intéresse pas au sens des messages. C’est ce qui fait la force de cette abstraction. « il n’y a de science que le général ». Shannon refuse la spécificité du message ( sa signification par exemple ) au profit de ses caractéristiques physiquement observables. C’est en cela que « par une série d’élargissements successifs, un modèle de communication partant de l’échange de signes parfaitement définis depuis un point jusqu’à un autre », Claude Shannon a pu intégrer plus globalement ensuite la musique, la parole, l’image.

L’information est une mesure de la liberté de choix, dont on dispose lorsqu’on sélectionne un message. Une mesure mathématique de l’originalité de la situation, créée au récepteur par l’avènement d’un message.

Lorsque j’ai le choix entre 2 messages («  noir  » ou « blanc  »), j’ai deux possibilités que je représente par 0 ou  1. Plus généralement, la quantité de l’information est définie par le logarithme du nombre des choix possibles. 2 puissance n, lorsqu’il y a n choix possibles. Pour le choix le plus simple, l’unité d’information est 2  (2 puissance 1 ). Cette unité d’information est appelée bit ( mot proposé par John W. Tukey pour « binary digit » ).

De sorte que le « digit binaire » ou « bit » est naturellement associé à une situation de double choix constituant une unité d’information. Dans un système à 3 choix possibles, j’ai 2 puisse 3 soit 8 possibilités, formalisée par 000, 001, 010, 011, 100, 101, 110, 111.

Entropie et probabilités d’information.

Plus on a le choix dans l’élaboration des messages, plus la probabilité de choisir un des messages est forte,  et plus grande est l’information. ( entropie forte ).

Plus une situation est hautement organisée et prédictive ( « le soleil se couche en fin de journée »), le  hasard ou le choix sont limités, plus l’information ( ou entropie ) est faible.

« La quantité précisément nécessaire à l’établissement de l’information correspond exactement à la notion thermodynamique d’entropie. Elle s’exprime en termes de probabilités. Celles nécessaires pour l’accession à certains stades de processus de formation des messages, et celles une fois ces stades atteints, prévoyant le choix suivant de certains symboles. »

Soit le mot « joie » ; le « e » est déterminé, ne laisse pas le choix à celui qui écrit le mot. Il s’agit de la fraction de structure de message qui est déterminé non par le libre choix de l’émetteur mais plutôt par des règles statistiques admises gouvernant l’emploi des symboles en question ( ici la langue française ). On l’appelle « redondance », car cette fraction du message n’est pas nécessaire, et redondante.

Le bruit.

Le bruit modifie le message, lorsqu’il y a parasite sur une ligne téléphonique par exemple. Une erreur dans la transmission du message. Ces éléments « perturbateurs » de la transmission sont appelés « bruit ». Naturellement on peut penser que le bruit abime le message transmis ( on n’a pas tout entendu ),et donc que l’information transmise diminue . Paradoxalement, l’incertitude du message augmente, et donc l’information.

L’impact de ce texte est fondamental. Sa synthèse d’une dimension communicationnelle de son modèle a inspiré les linguistiques.

Jakobson, par exemple, s’est inspiré du modèle de Shannon , pour structurer les 6 fonctions du langage. Ses études ont elles même marqué les sciences linguistiques.

Au code, émetteur, destinataire, canal,   message et bruit, Jakobson en a déduit les fonctions du langage ordinaire : les 6 fonctions du langage de Jakobson

Ce texte reste moderne : aujourd’hui avec les nouveaux réseaux sociaux, ces concepts demeurent.

On lira ainsi : les 6 fonctions de Twitter, selon Jakobson : un exemple appliqué à ce réseau social

Le modèle de Shannon a structuré toute une école de la pensée autour de la communication. On lira cette évolution : l’évolution du concept de la communication.

Claude Shannon : en savoir plus !

Claude Shannon a laissé son nom à un prix décerné chaque année par l’association de la théorie de l’information (IEEE), pour récompenser les avancées sur la théorie de l’information. Site officiel : IEEE Information Theory Society.

Claude Shannon a vraiment bousculé notre monde.

Aujourd’hui, le bit, l’octet ont permis de révolutionner le monde. Notamment le monde numérique : les photos, les textes, les vidéos, et bientôt le monde des objets connectés du monde réel suivent ce même trajet, tracé par Claude Shannon.

D’un point de vue humain, l’être humain est ainsi devenu numérique, extension d’un monde improbable : le bit ou la sueur de la vie numérique

 

 

Publicités

Norbert Wiener ou la cybernétique pour un monde mieux communiquant

Plus loin

Point de repère

Pourquoi la cybernétique ?

L’apport de Wiener dans les sciences de l’information est intéressant, car il met en lumière les concepts clés de la communication. Norbert Wiener s’intéresse aux échanges d’information autour de l’objet  ( et l’être humain ) plutôt que le contenu de l’objet  (ou la pensée de l’être humain ). Il introduit la cybernétique : le pilotage des messages dans leur efficacité. Il applique ces concepts autant aux machines qu’à la société humaine en général. « vivre, c’est communiquer efficacement ». L’homme est un réseau de communication. Et mieux vivre ensemble, c’est mieux communiquer.

Pendant la seconde guerre mondiale, Norbert Wiener travaille sur l’amélioration des batteries anti-aériennes afin de les automatiser. 2 points importants à évoquer. D’une part, anti militariste, il refuse de travailler sur le projet Manathan ( la mise au point de la bombe atomique ). Cela expliquera la démarche du scientifique plus tard.

D’autre part, son travail sur les batteries anti-aériennes définit clairement la cybernétique. Ou l’art de « gouverner », ou de piloter. Ses recherches consistent à pouvoir définir de manière prédictive la position d’un missile ou bombe, en fonction de sa trajectoire.

Rétroaction et information

R. Wiener introduit la notion de rétroaction, concept clé de la cybernétique.

Comme le missile anti balistique, Norbert Wiener prend l’exemple du canonnier qui doit ajuster la mesure de l’huile de son canon afin d’atteindre une cible. En fonction de la où tombe le projectile, le canonnier augmente ou pas la quantité d’huile du canon. Il effectue ce réajustement jusqu’à ce que le projectile atteigne sa cible. Comme le mouvement du chaton qui s’ajuste pour au final attraper une pelote de laine.

Ce principe de rétroaction vaut aussi bien pour les machines ( portes automatiques qui en fonction d’un capteur ouvre ou ferme au bon moment les portes, via un capteur ) que l’être humain. Les recherches de N. Wiener, si elles s’intéressent à la machine et l’homme,  les mettent au même plan :

  • La machine/l’homme  capte des signaux via un capteur ( photo sensoriel  par exemple ). ( Input ).
  • Renvoie un signal ( Output ) ( fermeture de la porte / mouvement corporel du bras ).
  • Via un programme (  calcul en fonction de paramètres ).
  • Les paramètres nécessaires au programme sont le signal reçu (input) et des variables intermédiaires  stockées ( permettant de gérer la rétroaction au fil du temps ). Il s’agit de la mémoire.

L’homme comme la machine sont vus comme une « boîte noire ». Toute la recherche de N. Wiener est de s’intéresser aux échanges entre les Entrées/Sorties, plutôt qu’à son contenu. ( L’intelligence artificielle procède de ce fonctionnement ).

« L’homme est plongé dans un monde qu’il perçoit par l’intermédiaire de ses organes. L’information qu’il reçoit est coordonnée par son cerveau et son système nerveux, jusqu’à ce que, après le processus convenable d’emmagasinement, de collation, et de sélection, elle soit diffusées à travers des organes de l’action, ses muscles généralement ».

L’intérêt d’une information ou d’un signal réside dans son efficacité et son contrôle, afin de réaliser au mieux l’action , le résultat souhaité.

Pilotage de l’information contre un monde en dégénérescence.

Comme on l’a vu précédemment , l’information est destinée à adapter le processus d’une machine à sa finalité.

Le corps humain utilise ce mécanisme de rétroaction, par l’homéostasie.

L ‘homéostasie est la capacité à un système ( dont le corps humain ) à conserver son état d’équilibre. Par exemple, le corps humain opère en permanence à conserver une température de 37 degrés. Toute anomalie ( extérieure ou intérieure au corps ) est compensée ( par le déclenchement de sueur, de modification de la peau ) pour rester à cet état stable. Cette lutte et résistance aux modifications, aléas extérieur est permanente.

La vie d’ailleurs en général  est une lutte contre l’aléa qui la menace, et la dégénérescence. Se nourrir, se battre , résister contre le désordre du monde extérieur.

L’ époque de N.Wiener  d’après guerre influe beaucoup sur ces réflexions. Le monde d’après- guerre ( la bombe atomique, la guerre froide) inspire une explosion de signaux inquiétants, propre à plonger le monde dans le chaos. Les recherches sur l’entropie, où le système physique finit dans un monde d’instabilité maximale pousse N. Wiener à s’intéresser sur ce qui justement va réduire l’incertitude. La communication permettant les échanges entre êtres humains est primordiale, et la piloter efficacement permettra à une meilleure régulation entre les peuples et établir la paix.

L’information est en ce sens l’inverse de l’entropie ( et du chaos ). On notera qu’on retrouve ainsi la définition actuelle de l’information, propre au développement de l’informatique ( information inversement proportionnelle à la probabilité de l’événement ).

« Information est un nom pour désigner le contenu de ce qui est échangé avec le monde extérieur à mesure que nous nous y adaptons et que nous lui appliquons les résultats de notre adaptation. »

« Le processus consistant à recevoir et à utiliser l’information est le processus que nous suivons pour nous adapter aux contingences du milieu ambiant et vivre efficacement dans son milieu ».

On notera ainsi que l’information a un contenu ( message ), mais n’a d’intérêt que si elle permet de s’adapter au monde :

  • Efficacité d’une information ( vs « bruit parasite » , probabilité de l’information ).
  • Vivre c’est communiquer ou échanger. L’homme en ce sens n’a plus de substance, mais il est remplacé par des modèles ( patterns ) stables sous le flot d’information et d’énergie. ( l’homme est un « tourbillon plus proche de la flamme que de la pierre » )