Sally Clark est avocate (solicitor) dans la région de Manchester. Son premier fils, Christopher, naît en septembre 1996 et meurt en décembre, à $11$ semaines. Le décès est d'abord attribué à une infection respiratoire. Son second fils, Harry, naît en novembre 1997 et meurt en janvier 1998, à $8$ semaines. Après ce second décès, les médecins légistes relèvent des signes qu'ils jugent suspects. Sally Clark est arrêtée en février 1998 et accusée d'avoir tué ses deux enfants.

Il n'y a ni témoin ni aveu. Les médecins ne sont pas d'accord entre eux sur la cause des deux morts. Le dossier repose sur des expertises médicales contradictoires, et sur un argument qui va peser lourd : deux morts subites dans une même famille seraient trop improbables pour être naturelles.

La Crown Court de Chester, dans l'enceinte du château, où se tient le procès de Sally Clark à l'automne 1999. Photo Dennis Turner, Wikimedia Commons, CC BY-SA 2.0.

Le procès a lieu à la Crown Court de Chester. Parmi les experts de l'accusation figure Roy Meadow, pédiatre très connu, anobli pour ses travaux sur la maltraitance des enfants. Il s'appuie sur une grande étude britannique sur les morts subites du nourrisson, l'étude CESDI : pour une famille comme celle des Clark (sans fumeur, avec un revenu, une mère de plus de $26$ ans), la probabilité qu'un bébé meure de mort subite y est estimée à environ $\dfrac{1}{8\,543}$. Il en déduit que la probabilité de deux morts subites dans la même famille est

soit « une chance sur $73$ millions ». D'après les comptes rendus, il compare cette éventualité à celle de parier sur un cheval coté à $80$ contre $1$ et de le voir gagner le Grand National quatre années de suite. Le 9 novembre 1999, Sally Clark est déclarée coupable par $10$ jurés sur $12$ et condamnée à la prison à perpétuité.

Un premier appel est rejeté en octobre 2000 : la cour reconnaît que le chiffre de $73$ millions pose problème, mais juge qu'il n'a pas été décisif. Entre-temps, des statisticiens s'en mêlent. En octobre 2001, la Royal Statistical Society, la société savante des statisticiens britanniques, publie un communiqué : le calcul n'a pas de base statistique valable, et le raisonnement qui l'accompagne est une erreur classique. En janvier 2002, sa présidente écrit au Lord Chancellor, le ministre de la Justice, pour demander que les tribunaux s'entourent de vrais statisticiens.

Les Royal Courts of Justice, à Londres, où siège la cour d'appel qui annule la condamnation en janvier 2003. Photo David Castor, Wikimedia Commons, CC0.

Le second appel aboutit le 29 janvier 2003. On a découvert que le médecin légiste avait conservé, sans les transmettre à la défense, des analyses montrant une infection bactérienne chez Harry, qui pouvait expliquer sa mort. La condamnation est annulée, et la cour revient aussi sur l'usage qui avait été fait des statistiques. Sally Clark a passé plus de trois ans en prison. Elle ne se remet pas de ces années et meurt en mars 2007, à $42$ ans.

L'affaire a des suites. Les condamnations fondées sur les mêmes arguments sont réexaminées (voir plus bas). Roy Meadow est radié en 2005 par l'ordre des médecins britannique, puis réintégré en 2006 par la justice, qui estime qu'il s'est trompé de bonne foi : on lui reproche moins d'avoir menti que d'avoir parlé de statistiques sans en être spécialiste.

Notons $A_1$ l'événement « le premier enfant meurt de mort subite » et $A_2$ l'événement « le second enfant meurt de mort subite ». Par définition d'une probabilité conditionnelle, on a toujours

Le calcul de l'expert remplace $P_{A_1}(A_2)$ par $P(A_2)$. Ce remplacement n'est permis que si les deux événements sont indépendants, c'est-à-dire si savoir que le premier enfant est mort ne change pas la probabilité que le second meure. Autrement dit, $A_1$ et $A_2$ sont indépendants si et seulement si

Or il y a de bonnes raisons de penser que ce n'est pas le cas. Deux frères partagent une partie de leurs gènes, la même maison, les mêmes parents, les mêmes habitudes de couchage. Si une cause génétique ou une particularité de l'environnement favorise la mort subite, elle agit sur les deux enfants. Un premier décès est alors un indice que la famille est plus exposée, et la probabilité du second, sachant le premier, est plus grande que $\dfrac{1}{8\,543}$. Les études sur les familles ayant déjà perdu un enfant vont dans ce sens.

Supposons que le premier décès multiplie par un facteur $k$ la probabilité du second : $P_{A_1}(A_2) = \dfrac{k}{8\,543}$. Les valeurs de $k$ ci-dessous sont choisies pour voir l'effet, pas mesurées. Pour $k = 10$ :

La probabilité reste petite, mais elle change d'ordre de grandeur. Il y a d'ailleurs une seconde faiblesse : le chiffre $\dfrac{1}{8\,543}$ est déjà choisi pour une famille « favorable », alors que d'autres facteurs connus (le sexe des enfants, par exemple, les garçons étant plus touchés) n'étaient pas pris en compte. Enfin, au Royaume-Uni, où naissent environ $700\,000$ enfants par an, un événement « à une chance sur plusieurs millions par famille » finit par arriver à quelques familles : rare ne veut pas dire impossible.

Admettons même que le nombre soit juste. Que mesure-t-il ? Notons $I$ l'événement « la mère est innocente » et $E$ l'événement « deux enfants de la famille meurent subitement » (l'indice, ce qu'on a observé). Le « $1$ sur $73$ millions » est une estimation de $P_I(E)$ : la probabilité d'observer deux décès si la mère est innocente.

Le jury, lui, a besoin de $P_E(I)$ : la probabilité que la mère soit innocente, sachant qu'on a observé deux décès. Confondre les deux, c'est entendre « il n'y a qu'une chance sur $73$ millions que ce soit naturel ». Ce glissement porte un nom : l'erreur du procureur. Un exemple simple montre qu'il est absurde : la probabilité de gagner au Loto en jouant une grille est d'environ une sur $19$ millions. Pourtant, quand quelqu'un a gagné, on n'en déduit pas qu'il a triché.

Ce qui manque, c'est la comparaison avec l'autre explication. Si la mère n'est pas innocente, elle a tué ses deux bébés, ce qui est aussi un événement extrêmement rare. La question n'est pas « deux morts subites, est-ce rare ? » mais « parmi les familles où deux bébés sont morts, laquelle des deux explications est la plus fréquente ? ».

Prenons des nombres choisis pour l'exemple, dont seul l'ordre de grandeur relatif compte. Imaginons $10$ millions de familles ayant eu deux bébés. Supposons que, parmi elles, $60$ connaissent deux morts subites et que $10$ voient leurs deux bébés tués par un parent.

Pour une famille innocente, deux décès sont très rares : $60$ sur près de $10$ millions, soit environ $6$ sur un million. Pourtant, parmi les $70$ familles où deux bébés sont morts, $60$ sont innocentes :

Avec ces hypothèses, une mère dans la situation de Sally Clark aurait eu environ $86\,\%$ de chances d'être innocente. La rareté de l'indice ne dit rien tant qu'on ne la compare pas à la rareté de l'autre explication.

Choisissons une famille au hasard parmi celles qui ont eu deux bébés. Notons $C = \overline{I}$ l'événement « la mère a tué ses deux enfants ». Avec les mêmes hypothèses : $P(C) = 10^{-6}$, $P_C(E) = 1$ et $P_I(E) = 6 \times 10^{-6}$.

Étape 1 : les deux chemins qui mènent à $E$. Par la règle du produit sur les branches,

Étape 2 : la formule des probabilités totales. Les événements $C$ et $I$ forment une partition de l'univers, donc

Étape 3 : la probabilité cherchée. Par définition d'une probabilité conditionnelle,

On retrouve le résultat des effectifs. Le contraste est frappant : $P_I(E) \approx 0{,}000\,006$, mais $P_E(I) \approx 0{,}86$. Ces deux nombres répondent à deux questions différentes, et c'est la seconde que le jury devait se poser.

Le calcul précédent se généralise. Pour deux hypothèses $I$ et $C$ qui forment une partition, et un indice $E$ de probabilité non nulle, divisons les deux probabilités conditionnelles l'une par l'autre :

En écrivant chaque intersection comme un produit sur les branches de l'arbre, on obtient la formule de Bayes sous la forme utilisée par les statisticiens judiciaires :

Elle se lit ainsi : ce qu'on doit penser après l'indice (à gauche) est égal à ce qu'on pensait avant (le rapport des probabilités a priori), multiplié par le rapport de vraisemblance $\dfrac{P_I(E)}{P_C(E)}$, qui mesure la force de l'indice : combien de fois il est plus probable sous une hypothèse que sous l'autre.

Dans l'affaire Clark, l'indice (deux décès) est certain si la mère est coupable, et très rare si elle est innocente : le rapport de vraisemblance est petit et joue contre elle. Mais le rapport a priori $\dfrac{P(I)}{P(C)}$ est énorme, car le double meurtre d'un bébé par sa mère est lui aussi exceptionnel. L'expert n'a présenté que le premier facteur.

En 2004, le mathématicien Ray Hill, de l'université de Salford, reprend les données britanniques. Il estime d'une part la probabilité de deux morts subites dans une famille, en tenant compte de la dépendance, et d'autre part la fréquence des doubles homicides de nourrissons. Sa conclusion, à prendre comme un ordre de grandeur : deux morts subites seraient de l'ordre de $4{,}5$ à $9$ fois plus probables qu'un double meurtre. Autrement dit, sur ce seul argument, l'innocence était plus probable que la culpabilité.

Cela ne dit pas qu'une mère est innocente : d'autres éléments du dossier (examens médicaux, témoignages) changent le calcul. Mais cela montre que l'argument statistique présenté au procès allait dans le mauvais sens.

Notons $p = P(C)$ la probabilité a priori d'un double meurtre et $r = P_I(E)$ la probabilité d'une double mort naturelle, avec $P_C(E) = 1$. Les trois étapes de l'arbre donnent

Étudions $g$ sur $[0\,;1]$, pour un nombre $r \in \,]0\,;1[$ fixé. Le dénominateur $v(p) = r + (1 - r)\,p$ est strictement positif. Avec $u(p) = r\,(1 - p)$, $u'(p) = -r$ et $v'(p) = 1 - r$, on a $g' = \dfrac{u'v - uv'}{v^2}$. On développe les deux produits du numérateur :

Les termes en $p$ s'éliminent dans la différence :

donc

Comme $r > 0$, la fonction $g$ est strictement décroissante : plus le crime est rare a priori, plus l'innocence est probable après l'indice. On a aussi $g(0) = 1$ et $g(r) = \dfrac{1 - r}{2 - r} \approx \dfrac{1}{2}$ : quand le crime et la coïncidence sont aussi rares l'un que l'autre, on ne peut presque rien conclure. La figure place $p$ sur une échelle logarithmique, de $10^{-8}$ à $10^{-3}$, pour voir tous les ordres de grandeur.

Le programme suivant refait les calculs de cette section : l'effet de la dépendance, puis la probabilité d'innocence pour plusieurs valeurs de la rareté $r$, avec $P(C) = 10^{-6}$.

• Un indice rare sous l'hypothèse d'innocence ne prouve rien seul : il faut savoir s'il est encore plus rare sous l'hypothèse de culpabilité.
• Le rapport de vraisemblance est l'affaire de l'expert : c'est lui qui connaît les données (fréquence d'une maladie, d'un profil d'ADN). La probabilité a priori, en revanche, dépend de tout le reste du dossier : c'est l'affaire du juge ou du jury.
• Multiplier des probabilités suppose l'indépendance, qu'il faut justifier et non supposer.
• Une probabilité, même très grande, n'est pas une certitude, et la justice pénale demande une culpabilité établie « au-delà du doute raisonnable ». Le calcul éclaire la décision, il ne la prend pas.

Après l'annulation de la condamnation de Sally Clark, d'autres dossiers où Roy Meadow avait témoigné sont réexaminés. Angela Cannings, condamnée en 2002 pour la mort de deux de ses enfants, est libérée en décembre 2003 : la cour d'appel estime qu'on ne peut pas condamner une mère lorsque la seule preuve est un désaccord entre experts sur la cause de morts subites. Des centaines de dossiers de placement d'enfants sont ensuite revus.

Lucia de Berk est infirmière dans un hôpital de La Haye. Plusieurs patients meurent ou font un malaise pendant ses gardes. Au procès, un calcul statistique estime qu'une telle concentration d'incidents pendant ses heures de service aurait une probabilité d'environ une sur $342$ millions si elle n'y était pour rien. Elle est condamnée en 2003 à la prison à perpétuité, et la condamnation est confirmée en appel en 2004.

Plusieurs statisticiens, dont le Néerlandais Richard Gill, montrent ensuite que le calcul combinait mal des données de plusieurs services, que la liste des incidents avait été constituée en sachant qui était de garde, et qu'on retrouvait l'erreur du procureur. Avec des méthodes plus correctes, la coïncidence devenait tout à fait plausible. Le dossier médical est lui aussi remis en cause. Lucia de Berk est acquittée lors d'un nouveau procès, en avril 2011. Les deux affaires se ressemblent : un nombre impressionnant, présenté comme la probabilité de l'innocence, alors qu'il n'en est rien.

L'affaire Dreyfus montre que les tribunaux français ont connu, dès 1894, des « calculs de probabilités » présentés par des experts qui n'étaient pas mathématiciens. Il a fallu Henri Poincaré pour les réfuter : voir le texte Les mathématiques dans l'affaire Dreyfus.

Une trace d'ADN est le cas où l'erreur du procureur menace le plus souvent. Un expert annonce que la probabilité qu'une personne prise au hasard ait le même profil est d'une sur un million. C'est $P_I(E)$, pas la probabilité que le suspect soit innocent.

Le danger grandit avec les fichiers. Supposons, pour l'exemple, qu'on compare la trace à une base de $4$ millions de profils de personnes étrangères au crime, chacune ayant une probabilité $p = 10^{-6}$ de correspondre par hasard, indépendamment des autres. Le nombre $X$ de correspondances fortuites suit la loi binomiale de paramètres $n = 4 \times 10^{6}$ et $p$, d'espérance

La probabilité d'au moins une correspondance fortuite est $1 - (1 - p)^n$. Avec le logarithme, $(1 - p)^n = \mathrm{e}^{\,n \ln(1 - p)}$, et comme $\ln(1 - p) \approx -p$ pour $p$ proche de $0$ (nombre dérivé de $\ln$ en $1$) :

Trouver « quelqu'un » dans la base est donc presque certain, même si le coupable n'y est pas. Le texte Prendre des décisions avec les probabilités détaille ce calcul. En France, le fichier national des empreintes génétiques, créé en 1998, compte plusieurs millions de profils.

En Angleterre, au début des années 1990, Denis Adams est accusé d'un viol sur la seule base d'une correspondance d'ADN, que l'accusation chiffre à une chance sur $200$ millions. Tout le reste du dossier plaide pour lui : la victime ne le reconnaît pas et il a un alibi. La défense fait venir un statisticien qui explique aux jurés comment combiner ces éléments avec la formule de Bayes, en leur faisant chiffrer eux-mêmes chaque indice.

Adams est condamné. En appel, en 1996 puis en 1997, la cour d'appel juge que la formule de Bayes « plonge le jury dans des domaines de théorie et de complexité inappropriés et inutiles » et qu'elle ne doit pas être présentée ainsi aux jurés. La décision est discutée depuis : elle protège les jurés de calculs qu'ils ne maîtrisent pas, mais elle les laisse combiner les indices « au jugé », là où l'intuition se trompe le plus.

Depuis l'affaire Clark, la Royal Statistical Society a publié des guides destinés aux juges, aux avocats et aux experts, qui expliquent l'erreur du procureur et la bonne manière de présenter un indice. En Europe, le réseau des instituts de police scientifique (ENFSI) recommande depuis 2015 que l'expert exprime ses conclusions par un rapport de vraisemblance : « cet indice est tant de fois plus probable si l'hypothèse de l'accusation est vraie que si celle de la défense l'est », sans jamais donner lui-même la probabilité de culpabilité. C'est exactement le partage des rôles que montre la formule de Bayes.