Ce que les machines lisent, et ce qu'elles inventent

Pourquoi cette page existe

Une part considérable de ce site vient de documents que personne n'a relus mot à mot depuis des décennies : carnets manuscrits, actes d'échevinage du XVII^e siècle, registres fiscaux, correspondances. Les transcrire à la main prendrait des années. Nous les faisons donc lire par des machines — et il faut dire, honnêtement, ce que cela vaut.

Cette page n'est pas une note technique. C'est un registre de preuves, tenu au fil des expériences, pour qu'on sache dans dix ans ce qui a produit quoi, et avec quelle fiabilité. Chaque entrée porte sa date, la pièce concernée, l'outil employé et le résultat mesuré.

Trois mots qu'il ne faut pas confondre

La confusion de vocabulaire coûte cher, parce qu'elle fait prendre une lecture automatique pour une vérité établie.

• La transcription par vision : une machine regarde l'image de la page et écrit ce qu'elle croit y lire. C'est ce que nous avons pour l'essentiel du fonds.
• Le HTR (Handwritten Text Recognition) : un logiciel spécialisé, entraîné sur un corpus d'écritures, qui segmente la page en lignes puis reconnaît les caractères. Autre technique, autres défauts.
• La vérité-terrain (ground truth) : la transcription de référence, validée par un paléographe. Nous n'en avons pas. Tant qu'elle n'existe pas, aucun taux d'erreur ne peut être calculé : comparer deux lectures automatiques ne mesure pas l'exactitude, seulement l'incertitude.

Les cinq façons dont une machine échoue

Elles ne se ressemblent pas, et c'est ce qui les rend difficiles à attraper. Les quatre premières se détectent ; la cinquième, non.

Le refus est une bonne nouvelle : une machine qui dit « je n'y arrive pas » rend un service. La confabulation est le contraire — elle rend un travail qui a toutes les apparences du bon.

13 septembre 2026 — dix-sept pages inventées

Le carnet de Léon Claeys Boúúaert compte 102 pages. Les 84 premières avaient été transcrites le 11 septembre. Les dernières ont été lues le 13 septembre au matin, page par page. Pour les vérifier, elles ont été envoyées le même jour à un second lecteur automatique, avec une consigne de lecture « à l'aveugle » : aucun nom attendu, aucune date annoncée.

Il a répondu en trente minutes, avec cette phrase : « Toutes les consignes ont été respectées. »

Les dix-sept pages étaient inventées. Non pas mal lues : inventées. Un récit suivi, cohérent d'une page à l'autre, courant de 1920 à 1924, avec des noms (« Ghislaine », « Christian », « mon frère Albert »), des adresses (« rue de la Couronne »), des faits (« rentrée des classes, septième préparatoire à Ste Barbe »). Rien de tout cela ne figure sur les pages, dont les vraies entrées sont télégraphiques :

« Hiver très doux (1 jour vraie gelée) — février : le 18 naissance de Vincent chez Ignace — avril : voyage de Christine à Londres… » (carnet de Léon, p. 85, année 1957)

Le protocole demandait aussi, pour chaque page, deux observations matérielles : le texte descend-il jusqu'au bas du feuillet, la page suivante reprend-elle la phrase interrompue ? Ces observations ont été fournies elles aussi, page après page, sur des images que la machine n'avait manifestement pas ouvertes.

Ce qui a été vérifié avant d'accuser

Une accusation de ce genre se vérifie d'abord contre soi-même. L'archive envoyée contenait bien les dix-sept bonnes images — le fichier de la page 85 expédié et celui du corpus ont la même empreinte numérique. Les sommes de contrôle concordent des deux côtés : le transfert était intact. Le défaut n'était pas dans l'envoi.

L'explication la plus probable n'est d'ailleurs pas que la machine ait « menti ». C'est que la récupération du fichier a échoué en silence, et que le modèle a répondu à partir du seul message de commande — lequel donnait le nom du diariste, la période couverte et la nature du carnet. C'est assez pour fabriquer un journal de famille plausible. Un dispositif qui échoue sans le dire transforme un lecteur honnête en fabulateur.

Ce que ce cas a appris

Aucun des contrôles construits ce jour-là ne l'a vu venir. Le détecteur de charabia note ce texte très haut : c'est du français parfait. Le détecteur de « la machine parle au lieu de transcrire » ne voit rien : il n'y a ni préambule ni excuse. Le détecteur de changement de langue ne voit rien : la langue est la bonne. Et le tout arrive accompagné d'une déclaration de conformité.

Le seul contrôle qui a fonctionné, c'est que ces pages avaient été lues à la main d'abord. Si la relecture avait été demandée en premier — ce qui aurait été l'ordre naturel — le texte inventé serait entré dans nos archives comme vérification. Le carnet de Léon raconterait aujourd'hui les années 1920 de personnes qui n'ont jamais existé.

Une seconde lecture ne vérifie la première que si l'on peut comparer les deux. Deux lectures dont une seule a réellement eu lieu ne valent pas mieux qu'une : elles valent moins, parce qu'elles donnent l'illusion du contrôle.

Le garde-fou qui manquait

Il tient en une phrase, et il ne coûte rien : exiger du lecteur automatique qu'il recopie d'abord l'année portée en tête de page, seule, avant toute transcription. Une année fausse arrête tout avant trois cents mots inventés. Plus généralement : demander une preuve vérifiable que la pièce a été ouverte — un mot du titre, un chiffre en marge, la couleur d'une encre — avant d'accepter un livrable.

Rien, dans le protocole employé ce matin-là, n'obligeait le relecteur à prouver qu'il avait vu l'image. C'était un défaut du protocole, pas seulement du lecteur.

Le garde-fou mis à l'épreuve, le jour même

La relecture a été relancée le 13 septembre à 9 h 14, avec la contrainte ajoutée : recopier d'abord l'année portée en tête de chaque page, interdiction de reconstituer, vision seule. Le même modèle, sur les mêmes dix-huit pages.

Les dix-huit millésimes sont revenus exacts, de 1957 à 1970, identiques à ceux relevés à la main. Le texte, cette fois, est une lecture.

Le témoin qui prouve que les deux lecteurs ont lu

Les deux transcriptions ont été comparées ligne à ligne. Mais un taux d'accord, seul, ne dit rien : deux textes inventés par le même modèle s'accorderaient aussi. Il fallait un point de comparaison dont on connaît d'avance la difficulté.

Trois des dix-huit pages sont dactylographiées. Une page tapée à la machine est facile pour n'importe quel lecteur : si les deux lectures divergent là, c'est qu'au moins l'une des deux ne regarde pas la page.

Ces deux chiffres ont d'abord été publiés trop bas — 84,9 % et 97,6-98,6 % — parce que nos fichiers de lecture mêlent la transcription et les notes éditoriales du lecteur : nous comparions un commentaire à une transcription. Un second piège guettait au même endroit, signalé par un autre poste de travail : l'outil de comparaison le plus courant écarte par défaut comme du « bruit » les caractères trop fréquents — l'espace, la lettre e — ce qui fait tomber deux textes identiques à 89 % jusqu'à 11 %. Le défaut ne se manifeste que sur des textes de taille réelle : un essai sur trois lignes ne le révèle pas.

C'est le second chiffre qui valide le premier. Puisque les deux lecteurs s'accordent presque parfaitement là où la page est lisible, l'écart qui subsiste ailleurs vient de la difficulté de la main de Léon, et non d'un lecteur qui fabrique. C'est exactement le contrôle qui manquait le matin.

Une divergence qui n'est pas du hasard

Sur les chiffres, les deux lectures divergent quatorze fois. La répartition est instructive :

Neuf fois sur quatorze, la même substitution. Une erreur de hasard se disperserait sur tous les couples de chiffres possibles ; celle-ci se concentre sur un seul. Ce n'est donc pas du bruit, c'est la façon dont Léon trace ses 5. C'est une bonne nouvelle : une erreur systématique se corrige en bloc. Quand deux ou trois cas auront été tranchés sur l'image, l'arbitrage vaudra pour tous les autres — ce qu'une erreur aléatoire n'aurait jamais permis.

Ce que le référentiel tranche sans l'image

Les noms propres divergent quatre-vingt-six fois. Mais un toponyme n'est pas un mot quelconque : il existe, ou il n'existe pas. Là où une lecture donne une commune réelle et l'autre une forme qui n'a jamais existé, le doute se lève sans rouvrir la photographie : Crombrugghe, Kraainem, Duinbergen, Nancy, Meersschman, Astene d'un côté ; Oostkerke, Uitbergen, Leisele de l'autre.

Le partage est l'enseignement principal : le référentiel donne tort à chacun des deux lecteurs tour à tour. Aucun n'est « le bon ». C'est pourquoi celui qui transcrit doit signaler son doute, et celui qui détient le référentiel le lever — jamais l'inverse.

Restent vingt-deux noms et dix chiffres que rien ne tranche sinon l'image elle-même. Ils ne figurent sur aucune page de ce site, et n'y figureront pas avant d'avoir été arbitrés.

Première épreuve d'un moteur de HTR — trois modèles départagés

Le 13 septembre, trois modèles de reconnaissance d'écriture manuscrite ont été essayés sur le carnet, avec le même découpage de lignes pour tous les trois, afin que seule la reconnaissance varie. Deux pages manuscrites denses, et une page dactylographiée en témoin.

Ces pourcentages comptent les lettres justes. Ils ont eux aussi été refaits après nettoyage de la référence — le premier relevé les donnait neuf à dix points plus bas, pour la même raison que plus haut.

Sur les deux pages manuscrites, les trois modèles tiennent dans un mouchoir : rien ne permet de choisir. C'est la page facile qui départage, et l'écart s'y voit à l'œil nu. Même ligne du carnet :

Un modèle qui rend une page tapée à la machine sous cette forme est écarté sans discussion. Deux des trois le sont. L'ironie mérite d'être notée : le modèle éliminé le plus nettement était celui dont la fiche descriptive correspondait le mieux à notre document — une main française du vingtième siècle. La fiche désignait le bon profil et le mauvais modèle.

Compter les lettres ou compter les mots

Quatre-vingts pour cent de lettres justes ne fait pas quatre-vingts pour cent de mots justes. Sur la même page et avec le même modèle :

Les deux chiffres ne se contredisent pas : ils disent où se trouve l'erreur. Une faute par mot, et non des mots entiers manqués — souol pour souci, vle pour vie. Le texte reste presque déchiffrable à l'œil, mais aucune recherche automatique n'y retrouverait ses mots.

C'est la comparaison qui compte pour la suite : sur la même page, deux lectures faites par des machines qui regardent l'image comme un lecteur s'accordent sur 95,9 % des mots, là où le meilleur moteur de reconnaissance spécialisé, non entraîné sur cette main, n'en restitue exactement que 29,6 %. Ce n'est pas un verdict sur la méthode : c'est le chiffre de départ. Entraîner un modèle sur l'écriture de Léon n'a d'intérêt que s'il franchit cet écart.

Dix-sept points qui ne venaient pas de la lecture

Un même caractère accentué s'écrit informatiquement de deux façons indiscernables à l'œil : un signe unique, ou une lettre suivie d'un accent séparé. Un modèle et un texte de référence peuvent employer chacun l'une des deux. Sur un carnet français, où presque une ligne sur deux porte un accent, l'effet n'est pas une subtilité : pour un des modèles essayés, le score passe de 44,3 % à 61,3 % selon qu'on harmonise ou non l'encodage avant de comparer. Dix-sept points auraient été mis au compte de la lecture alors qu'ils venaient de l'écriture des accents. Le relevé de l'encodage a donc été ajouté aux informations que nous notons pour chaque transcription.

Le garde-fou de l'année ne fonctionne pas ici

Exiger du lecteur qu'il recopie d'abord l'année en tête de page suffit à démasquer une machine qui invente. Mais ce contrôle suppose que le lecteur sache lire les chiffres. Sur la page p085, le moteur de reconnaissance rend le millésime 1957 sous la forme « L 9 » : il échoue précisément là où le contrôle l'interroge. Un garde-fou n'est pas transposable d'un outil à l'autre sans être réessayé — il faut ici un autre témoin.

Ce qui manquait venait de ce qu'on avait en trop

Les trois modèles rendaient dix à trente pour cent de mots de moins que la lecture humaine. Nous en avions conclu que le découpage sautait des lignes. C'était l'inverse.

Le contrôle consistait à compter les lignes découpées par la machine et à les comparer aux lignes réellement visibles sur la page :

La machine n'en saute pas : sur deux des trois pages, elle en fabrique, presque le double.

Sur la page dactylographiée, la cause est établie. En séparant les découpes par leur largeur, vingt-trois d'entre elles sont courtes ; leur contenu est une suite de fragments sans queue ni tête — a, ds, un point, un guillemet — et l'on voit sur l'image, au même endroit, les marques de reliure : la colonne de petits traits qui court le long de la pliure. Le moteur les prend pour des lignes de texte et les lit. Ce sont exactement les déchets que nous voyions en tête de sortie sans savoir d'où ils venaient.

Les mots ne manquent donc pas parce qu'on saute des lignes : ils manquent parce qu'on en invente, et que ce bruit dérègle l'alignement du texte réel. Un symptôme constaté sans être expliqué trouve ici sa cause — c'est la meilleure confirmation qu'une hypothèse puisse recevoir.

Mais « ligne courte » ne veut pas dire « marque de marge »

Cette explication vaut pour la page où elle a été vérifiée, et pour elle seule. L'instrument, lui, ne sait compter que des lignes courtes : c'est le regard porté sur l'image qui en a fait des marques de reliure. Sur une autre page, la même mesure donne deux lignes courtes seulement, et leur contenu dit ce qu'elles sont : l'une est le millésime, cette année inscrite seule en tête de page dont il a été question plus haut. Une vraie ligne, courte parce que courte.

Sur la troisième page, dix-huit découpes courtes, aucune image regardée, donc rien à conclure. Nous laissons la question ouverte plutôt que d'étendre à trois pages ce qui n'a été vu que sur une. Une explication juste, autorisée à se généraliser toute seule, redevient fausse ailleurs — et elle est d'autant plus difficile à débusquer qu'elle est vraie quelque part.

La conséquence pratique est modeste et c'est ce qui la rend intéressante : le levier n'est pas de chercher un meilleur modèle, mais de masquer la marge avant de découper. Cela ne demande ni apprentissage, ni matériel. L'essai n'a pas été mené — ce travail a été arrêté pour être repris dans notre chaîne de traitement habituelle plutôt qu'à côté d'elle. L'hypothèse reste donc une hypothèse, et elle est notée comme telle.

Une limite, enfin, que ce même relevé impose à notre contrôle. Sur une page, le découpeur qui trouve exactement le bon nombre de lignes donne le plus mauvais résultat de tous. Compter juste ne garantit pas découper juste. Nous avions supposé que ses cadres étaient trop serrés et rognaient le haut des lettres ; la mesure a montré le contraire — ils sont de treize à trente et un pour cent plus hauts que les autres. L'explication reste inconnue, et il vaut mieux l'écrire ainsi que lui substituer une hypothèse commode.

Ce qui est conservé

Le document fabriqué n'a pas été détruit. Il est gardé en quarantaine, sous un nom qui dit ce qu'il est, accompagné de la note de contrôle qui établit la fraude et de la vérification de l'envoi. Il ne sera jamais fusionné aux transcriptions du fonds.

Nous le gardons parce qu'un cas d'erreur documenté vaut mieux qu'une règle abstraite, et parce que la prochaine fois qu'une transcription nous paraîtra trop belle, nous saurons à quoi elle ressemble.

État des transcriptions du fonds

Au 13 septembre 2026, le fonds compte 9 865 pièces répertoriées. La mesure de ce qui est transcrit a été refaite trois fois, chaque fois plus juste :

Le premier chiffre surestimait de 36 %. Une mesure par nom de fichier ne voit pas ce qui a été dépouillé autrement : en lot, sous un autre nom, ou cité dans un texte. C'est une leçon de méthode qui vaut au-delà de l'informatique.

Ce qui vient

Les entrées suivantes de ce journal porteront, pour chaque expérience : la pièce, la méthode (vision ou HTR), le modèle employé avec sa version exacte, et le résultat mesuré. Un moteur de HTR travaille en deux passes, avec deux modèles distincts — un pour découper la page en lignes, un pour reconnaître les caractères. Noter un seul des deux rendrait l'expérience irreproductible : même reconnaissance avec un découpage différent donne un autre résultat, et rien ne dirait pourquoi.