Les douze livres des Fables comptent $75\,280$ mots, dont $8\,776$ différents (on compte comme différents « chat » et « chats », et on sépare l', d', qu' du mot qui suit). Classons-les du plus fréquent au moins fréquent. Le rang d'un mot est sa place dans ce classement, et sa fréquence est son nombre d'apparitions divisé par le nombre total de mots.

À partir du rang $10$ environ, le produit $r \times f$ reste à peu près constant, autour de $0{,}1$ : la fréquence est à peu près inversement proportionnelle au rang. Le mot de rang $100$ est environ dix fois moins fréquent que celui de rang $10$, qui est lui-même environ dix fois moins fréquent que … les premiers mots, qui s'écartent un peu de la règle.

Cette observation a été faite par le sténographe français Jean-Baptiste Estoup en 1916, puis popularisée par le linguiste américain George Kingsley Zipf dans les années 1930 et 1940. On l'appelle la loi de Zipf :

Comment vérifier une telle loi ? En prenant le logarithme : $\ln f = \ln C - a \ln r$. Si l'on place les points de coordonnées $(\ln r\,;\ln f)$, ils doivent être alignés sur une droite de coefficient directeur $-a$. La figure le montre pour les Fables : le curseur fait varier la pente de la droite, qui passe par le point moyen du nuage.

Les points sont remarquablement alignés, sauf pour les tout premiers rangs (en haut à gauche), qui sont trop bas. La droite qui approche le mieux les points des rangs $1$ à $1\,000$ a une pente d'environ $-1{,}06$. En 1953, Benoît Mandelbrot a proposé une correction qui rend mieux compte des premiers rangs : $f(r) = \dfrac{C}{(r + b)^{a}}$.

Prenons la loi de Zipf avec $a = 1$ : $f(r) = \dfrac{C}{r}$. Si le texte contient $V$ mots différents, la somme de toutes les fréquences vaut $1$ :

Donc $C = \dfrac{1}{H_V}$, où $H_n = 1 + \dfrac{1}{2} + \dfrac{1}{3} + \cdots + \dfrac{1}{n}$ est la somme harmonique. On ne sait pas la calculer simplement, mais on peut l'encadrer avec des intégrales.

La somme harmonique se comporte donc comme $\ln n$. Un résultat plus précis, admis, donne $H_n \approx \ln n + 0{,}577$ pour $n$ grand. Pour les Fables, avec $V = 8\,776$ : $H_V \approx 9{,}66$, donc $C \approx 0{,}10$. On retrouve la valeur à peu près constante de $r \times f$ dans le tableau.

Quelle part du texte est formée par les $100$ mots les plus fréquents ? D'après la loi de Zipf, c'est

Dans les Fables, on compte $53{,}5\,\%$. Une centaine de mots forment la moitié du texte. C'est vrai dans toutes les langues étudiées : c'est pourquoi on peut comprendre une bonne partie d'un texte dans une langue étrangère avec un vocabulaire limité, mais pas tout le texte, car l'autre moitié est faite de mots rares.

Les mots rares. Dans les Fables, $4\,518$ mots n'apparaissent qu'une seule fois : ce sont des hapax, et ils représentent environ la moitié du vocabulaire. Cette proportion est elle aussi une conséquence de la loi de Zipf.

Le livre I des Fables compte $4\,839$ mots dont $1\,541$ différents ; les douze livres, $75\,280$ mots dont $8\,776$ différents. Le texte a été multiplié par environ $15{,}6$, le vocabulaire seulement par environ $5{,}7$. On observe que le nombre $V$ de mots différents dans un texte de $n$ mots suit à peu près une loi de la forme $V = K\,n^{\beta}$, avec $0 < \beta < 1$ (loi de Herdan et Heaps). Calculons $\beta$ avec les deux mesures :

• en divisant les deux égalités, $\dfrac{8\,776}{1\,541} = \left(\dfrac{75\,280}{4\,839}\right)^{\beta}$ ;
• en appliquant le logarithme, $\beta = \dfrac{\ln(8\,776 / 1\,541)}{\ln(75\,280 / 4\,839)} \approx 0{,}63$.

Dans les Fables (en remplaçant les lettres accentuées par la lettre simple), la lettre la plus fréquente est de loin le e : $16{,}4\,\%$ des lettres. Suivent s ($7{,}8\,\%$), t ($7{,}6\,\%$), a ($7{,}4\,\%$), n, i, u et r (environ $7\,\%$ chacune).

Au IX^e siècle, à Bagdad, le savant arabe Al-Kindi décrit dans son Manuscrit sur le déchiffrement des messages cryptographiques une méthode pour casser les codes où chaque lettre est remplacée par une autre : on compte les symboles du message codé, et le plus fréquent remplace probablement la lettre la plus fréquente de la langue. C'est la première trace connue de l'analyse des fréquences.

La méthode ne marche que si le message est assez long. Modélisons : chacune des $n$ lettres d'un message est un e avec la probabilité $p = 0{,}164$, indépendamment des autres. Le nombre $X$ de e suit la loi binomiale de paramètres $n$ et $p$, et la fréquence $F = \dfrac{X}{n}$ a pour espérance $p$ et pour variance $\dfrac{p(1-p)}{n}$. L'inégalité de Bienaymé-Tchebychev donne, pour tout $\delta > 0$,

• Avec $n = 200$ lettres et $\delta = 0{,}05$ : $\dfrac{0{,}164 \times 0{,}836}{200 \times 0{,}0025} \approx 0{,}27$. La fréquence des e est entre $11{,}4\,\%$ et $21{,}4\,\%$ avec une probabilité d'au moins $0{,}73$.
• Pour que cette probabilité soit d'au moins $0{,}95$, il suffit que $\dfrac{p(1-p)}{n \times 0{,}0025} \leqslant 0{,}05$, c'est-à-dire $n \geqslant 1\,097$.

L'inégalité est prudente : en réalité, quelques centaines de lettres suffisent souvent. Mais elle montre l'essentiel : plus le message est long, plus il est probable que la fréquence de chaque lettre soit proche de sa fréquence dans la langue, et plus le code est facile à casser. C'est pourquoi les systèmes de chiffrement modernes ne remplacent plus une lettre par une autre.

Dans le modèle précédent, les lettres sont indépendantes. Ce n'est pas vrai : après une voyelle, on trouve plus souvent une consonne, et inversement. En 1913, le mathématicien russe Andreï Markov compte à la main les $20\,000$ premières lettres du roman en vers Eugène Onéguine de Pouchkine. Il trouve environ $43{,}2\,\%$ de voyelles, et surtout :

• après une voyelle, la lettre suivante est une voyelle avec la probabilité $0{,}128$ ;
• après une consonne, la lettre suivante est une voyelle avec la probabilité $0{,}663$.

Notons $p_n$ la probabilité que la $n$-ième lettre soit une voyelle. Un arbre pondéré à deux niveaux (la lettre $n$, puis la lettre $n + 1$) et la formule des probabilités totales donnent

c'est-à-dire $p_{n+1} = 0{,}663 - 0{,}535\,p_n$.

La limite, $43{,}2\,\%$, est exactement la proportion de voyelles observée par Markov : les deux mesures sont cohérentes. La raison est négative, donc la suite oscille autour de sa limite : si une lettre est une voyelle, la suivante a plutôt tendance à être une consonne. Pour les Fables (en comptant y parmi les voyelles), le programme Python plus bas donne des valeurs voisines : sur tout le recueil, $0{,}25$ après une voyelle, $0{,}607$ après une consonne, et une limite $\dfrac{0{,}607}{1 - 0{,}25 + 0{,}607} \approx 0{,}447$, égale là aussi à la proportion de voyelles du texte.

Ce travail est l'acte de naissance des chaînes de Markov, des suites d'événements où chacun ne dépend que du précédent. Elles servent aujourd'hui partout : claviers de téléphone qui proposent le mot suivant, reconnaissance de la parole, génétique (enchaînement des bases de l'ADN), moteurs de recherche. Les programmes qui génèrent du texte en prédisant le mot suivant en sont, de loin, des descendants.

En 1948, l'ingénieur américain Claude Shannon fonde la théorie de l'information. Idée de départ : un événement rare apporte plus d'information qu'un événement attendu. Il mesure l'information apportée par un événement de probabilité $p$ par $\log_2 \dfrac{1}{p}$, en bits, où $\log_2 x = \dfrac{\ln x}{\ln 2}$ est le logarithme de base $2$. Un pile ou face équilibré apporte $\log_2 2 = 1$ bit ; un événement de probabilité $\dfrac{1}{8}$, $3$ bits.

L'entropie d'une source qui émet des symboles de probabilités $p_1, \ldots, p_k$ est l'information moyenne par symbole, c'est-à-dire l'espérance de l'information :

Pour une source à deux symboles, de probabilités $p$ et $1 - p$, l'entropie est, pour $0 < p < 1$,

La dérivée de $p \ln p$ est $\ln p + 1$, et celle de $(1-p)\ln(1-p)$ est $-\ln(1-p) - 1$. Les termes $-1$ et $+1$ se compensent, donc

Comme $\ln$ est strictement croissante, $h'(p) > 0$ équivaut à $1 - p > p$, soit $p < \dfrac{1}{2}$. La fonction $h$ est croissante sur $\left]0\,;\frac{1}{2}\right]$ et décroissante sur $\left[\frac{1}{2}\,;1\right[$ : son maximum est $h\!\left(\frac{1}{2}\right) = 1$ bit. L'information moyenne est maximale quand les deux symboles sont équiprobables, et plus faible quand l'un est prévisible. Plus généralement, avec $k$ symboles, l'entropie est au plus $\log_2 k$.

Avec $26$ lettres équiprobables, chaque lettre apporterait $\log_2 26 \approx 4{,}7$ bits. Avec les fréquences réelles des Fables, l'entropie ne vaut plus qu'environ $4{,}0$ bits. Et si l'on tient compte des lettres qui précèdent (après « qu », on attend presque toujours une voyelle), elle baisse encore beaucoup : en 1951, Shannon a estimé, par des expériences où des personnes devinaient la lettre suivante d'un texte anglais, qu'elle est de l'ordre d'un bit par lettre. Une langue est donc très redondante : on peut deviner une grande partie d'un texte. C'est ce qui permet de lire un texte plein de fautes de frappe, et c'est ce qu'utilisent les logiciels de compression, qui raccourcissent un fichier de texte sans rien perdre.

Le français, l'espagnol et l'italien viennent du latin. Les mots de base, comme « main », « eau », « deux », « mère », se ressemblent encore d'une langue à l'autre : ce sont des mots apparentés. Mais au fil des siècles, certains mots de base sont remplacés : « tête » vient du latin testa (« pot »), qui a remplacé caput.

Dans les années 1950, le linguiste américain Morris Swadesh propose une liste d'une centaine de sens de base, présents dans toutes les langues, et fait une hypothèse audacieuse : chaque mot de base a la même probabilité d'être remplacé, quelle que soit la langue et l'époque. Les premières mesures donnent une proportion de mots conservés d'environ $r = 0{,}86$ par millénaire pour la liste de $100$ mots.

• Après $t$ millénaires, une langue a conservé en moyenne une proportion $r^t$ de son vocabulaire de base : c'est une suite géométrique, ou, en temps continu, une exponentielle décroissante $\mathrm{e}^{t \ln r}$.
• Deux langues séparées depuis $t$ millénaires ont chacune conservé, indépendamment, une proportion $r^t$ des mots de la langue mère. La proportion de mots apparentés qu'elles partagent est donc $c = r^t \times r^t = r^{2t}$.
• On résout avec le logarithme : $\ln c = 2t \ln r$, donc $t = \dfrac{\ln c}{2 \ln r}$.

Par exemple, si deux langues partagent $60\,\%$ de leur vocabulaire de base :

soit environ $1{,}7$ millénaire.

C'est exactement la logique de la datation au carbone 14 (la quantité de carbone 14 décroît exponentiellement) et de l'horloge moléculaire en biologie, où l'on date la séparation de deux espèces par le nombre de différences entre leurs ADN (voir le texte sur les mutations).

Cette méthode, la glottochronologie, a été vivement critiquée. En 1962, les linguistes norvégiens Knut Bergsland et Hans Vogt ont montré que l'islandais a conservé beaucoup plus de vocabulaire de base que prévu, et d'autres langues beaucoup moins : le taux de remplacement n'est pas le même partout. Les emprunts entre langues voisines faussent aussi le compte. Comme pour l'horloge moléculaire, l'hypothèse d'un rythme constant est trop simple. Les méthodes actuelles autorisent des rythmes différents selon les mots et selon les branches de l'arbre.