Avertissement et méthode à l’usage des jeunes chercheurs

Un jeune chercheur qui rédige son mémoire d’économie ou de sciences sociales, avec une intelligence artificielle, court un risque qu’il ne voit pas : la machine écrit aussi bien quand elle se trompe que quand elle a raison. Celui qui maîtrise la méthode de sa discipline y gagne un temps considérable. Celui qui ne la maîtrise pas obtient un texte soigné dont il est incapable de garantir les affirmations.

Ce texte répond à une question qu’un étudiant m’a posée à Dakar, le jour de la séance de dédicace de mes ouvrages : une intelligence artificielle peut-elle écrire un livre d’économie ? Elle peut en produire les pages en quelques heures. Cependant, aucune machine ne répond, devant un lecteur ou devant un jury, de ce que ces pages affirment.

1. Deux régimes de vérité

Le roman et l’ouvrage d’économie ne répondent pas au même critère de vérité, et c’est pour cette raison que l’IA n’y soulève pas les mêmes difficultés. Le roman doit être vraisemblable. Sa vérité est interne au récit : un personnage est crédible s’il agit conformément à ce que le texte a établi de lui, et une intrigue fonctionne quand le lecteur en comprend les ressorts. Que ces personnages n’aient jamais existé n’enlève rien au livre, puisque l’invention est la matière même du genre. Cette exigence correspond à ce que l’IA sait faire. Un modèle de langage calcule, mot après mot, la suite la plus probable compte tenu des textes sur lesquels il a été entraîné. Il produit donc sans effort des scènes qui sonnent juste. Le romancier qui travaille avec lui bute sur une autre difficulté : la machine reproduit les tournures les plus fréquentes, alors qu’un roman vaut par une voix que personne d’autre n’aurait eue.

L’ouvrage d’économie obéit à un critère externe. Chacune de ses propositions doit correspondre à un état du monde que le lecteur peut contrôler, qu’il s’agisse d’un taux d’endettement ou de la capacité de production électrique d’un pays. Un chiffre inventé, admissible dans un roman, y constitue une faute. Or l’IA formule une affirmation fausse sur le même ton assuré qu’une affirmation exacte. Les chercheurs en informatique appellent ce phénomène hallucination : le modèle produit un contenu plausible qui ne repose sur aucune donnée, une statistique inexistante par exemple, ou une référence bibliographique fabriquée. La propriété qui sert le romancier, la production de plausibilité, est donc celle qui expose l’économiste. En 2023, un tribunal fédéral de New York a condamné les avocats d’un plaignant à 5 000 dollars d’amende, parce que leur mémoire, préparé avec ChatGPT, citait des décisions de justice qui n’avaient jamais été rendues.

2. Un cas d’école : l’industrialisation du Sénégal

Demandez à une IA une stratégie d’industrialisation pour le Sénégal. En quelques secondes, elle vous livrera un texte bien construit sur les infrastructures et la transformation locale des matières premières. Ce texte convaincra un lecteur pressé. Il laissera pourtant sans réponse les questions dont dépend le succès d’une telle stratégie.

Les investissements proposés sont-ils à la mesure de l’épargne nationale et de la marge budgétaire que laisse le service de la dette ? Les compétences requises existent-elles déjà, ou faudra-t-il une décennie pour les former ? Le marché intérieur et régional peut-il absorber la production ? Le prix de l’électricité permet-il à l’usine de vendre moins cher que les produits importés ? La qualité de la rédaction ne tranche aucune de ces questions. Chacune exige une donnée sourcée et un raisonnement qui montre comment les variables agissent les unes sur les autres : un tarif électrique élevé renchérit le coût de production, ce coût détermine la compétitivité de l’usine, et sa compétitivité conditionne ses débouchés. L’économiste doit construire lui-même ce raisonnement, car la machine se contente d’en donner l’apparence.

3. Ce qui distingue la méthode

La méthode diffère d’abord par la nature du raisonnement. Un roman peut juxtaposer des scènes, et le lecteur accepte les ellipses. Un ouvrage d’économie procède par enchaînement : la question posée commande le cadre théorique, ce cadre commande les hypothèses, et les hypothèses désignent les données à réunir. Une erreur commise à l’une de ces étapes rend fausses toutes les conclusions qui en dépendent, quelle que soit la qualité de rédaction des chapitres suivants. Elle diffère ensuite par la durée pendant laquelle la cohérence doit être tenue. Supposons qu’un chapitre retienne une croissance annuelle de 5 % et qu’un autre, deux cents pages plus loin, calcule les recettes fiscales sur la base de 8 %. Le livre se contredit sans que les lecteurs pressés s’en aperçoivent, et ses conclusions budgétaires sont fausses.

L’IA ne protège pas contre ce risque. Elle travaille par échanges successifs et ne conserve pas d’elle-même, d’une séance à l’autre, les hypothèses qu’elle a retenues. Si on le lui demande, elle défendra avec la même conviction deux chiffres incompatibles. La cohérence de l’ensemble repose entièrement sur l’auteur.

4. L’IA, multiplicateur de compétence

Le résultat dépend du duo formé par l’auteur et la machine, mais les deux ne pèsent pas du même poids. C’est la compétence de l’auteur qui fixe la qualité que le texte peut atteindre. L’IA agit comme un multiplicateur, au sens où elle accroît l’effet de ce que l’auteur apporte. Un économiste qui connaît son terrain et ses outils théoriques ira plus vite avec elle, parce qu’il sait quelles questions lui poser et qu’il repère l’hypothèse fragile dès qu’elle apparaît. Un auteur qui n’a pas ces capacités obtiendra lui aussi un texte, aussi fluide que le premier et souvent plus affirmatif. Ses erreurs passeront inaperçues, tant pour lui que pour son lecteur.

L’écart entre ces deux auteurs s’agrandit donc au lieu de se réduire, puisque la machine donne au raisonnement faible la même présentation qu’au raisonnement solide. Il en découle un paradoxe que tout jeune chercheur devrait garder en tête : l’IA élève le niveau de connaissance requis pour écrire un ouvrage d’économie. Contrôler un texte demande d’en savoir davantage que l’écrire seul. On ne repère une contradiction entre le chapitre deux et le chapitre sept que si l’on a soi-même construit le raisonnement qui les relie.

5. L’auteur, garant de ce qu’il publie

Dans un roman écrit avec l’IA, l’auteur reste responsable d’un style. Dans un ouvrage d’économie, il devient le garant de chacune des affirmations du livre. C’est lui qui pose le problème et choisit la théorie qui l’éclaire. La machine ignore quelle question mérite d’être posée au Sénégal aujourd’hui. Elle répond à celles qu’on lui soumet, et elle répond toujours, même quand la question est mal formulée. C’est lui qui remonte chaque chiffre jusqu’à sa source primaire, une publication de l’Agence nationale de la statistique et de la démographie (ANSD) par exemple, ou la base de données de l’institution qui l’a produit. C’est encore lui qui tient le registre des hypothèses d’un chapitre à l’autre. Il sépare les faits établis des hypothèses de travail, puis ces dernières de ses propres propositions, afin que le lecteur sache à chaque page ce qu’il lit.

Surtout, c’est lui qui signe. Un roman engage la réputation de son auteur, alors qu’un ouvrage de stratégie peut orienter des budgets publics et des décisions d’investissement. Les éditeurs scientifiques en ont tiré la conséquence : depuis février 2023, le Comité d’éthique des publications (COPE) considère qu’un outil d’IA ne peut pas figurer parmi les auteurs d’un article, parce qu’il ne peut pas assumer la responsabilité du travail soumis. Le mémoire et la thèse obéissent à la même logique. Le jury évalue un candidat, et l’erreur commise par la machine devient celle du candidat qui l’a laissée passer.

6. Règles de méthode pour le jeune chercheur

Les huit règles qui suivent visent les erreurs que l’usage de l’IA rend les plus fréquentes.

1. Posez le problème avant d’ouvrir la machine. Rédigez seul, en une page, votre question de recherche et le cadre théorique que vous retenez. Vous jugerez ensuite chaque texte produit par l’IA au regard de cette page.
2. Ne retenez aucun chiffre que vous n’avez pas lu à sa source. Un chiffre fourni par l’IA vous indique seulement où chercher. Il devient une donnée lorsque vous l’avez trouvé dans le document d’origine et que vous en avez noté la référence.
3. Vérifiez chaque référence bibliographique. Ouvrez l’article ou le livre cité et assurez-vous que le passage invoqué s’y trouve. Un jury qui découvre une seule référence inventée met en doute l’ensemble du travail.
4. Tenez un registre des hypothèses.Notez dans un document distinct chaque hypothèse chiffrée et le chapitre où elle intervient. Relisez-le avant chaque séance de travail avec l’IA, et transmettez-le-lui au début de l’échange.
5. Signalez le statut de chaque énoncé. Votre lecteur doit savoir, à chaque paragraphe, s’il lit un fait établi ou une hypothèse, et si cette hypothèse est la vôtre ou celle d’un auteur que vous citez.
6. Demandez à l’IA de vous contredire. Faites-lui construire l’objection la plus forte qu’un spécialiste opposerait à votre thèse. Vous découvrirez ainsi les faiblesses de votre argument avant votre jury.
7. Méfiez-vous du passage qui vous convainc trop vite. Si un paragraphe vous paraît évident alors que vous ignorez sur quoi il repose, réécrivez-le à partir de vos sources ou supprimez-le.
8. Déclarez l’usage de l’IA. Indiquez dans l’introduction ou dans la note méthodologique quel outil vous avez utilisé et ce que vous avez vérifié vous-même. C’est ce que COPE demande aux auteurs d’articles scientifiques.

7. Le jour de la soutenance

Le jour de la soutenance, le candidat répond seul aux questions du jury. Il devra expliquer d’où vient chaque chiffre de son mémoire et pourquoi il a retenu telle hypothèse plutôt qu’une autre. L’outil qui l’a aidé à écrire ne sera pas dans la salle pour répondre à sa place.

Sources

COPE (Committee on Publication Ethics), « Authorship and AI tools », 13 février 2023 : publicationethics.org/node/56046

Ji Ziwei et al., « Survey of Hallucination in Natural Language Generation », arXiv:2202.03629 : arxiv.org/abs/2202.03629

Mata v. Avianca, Inc., notice Wikipedia : en.wikipedia.org/wiki/Mata_v._Avianca,_Inc.

Bloomberg Law, « Phony ChatGPT Brief Leads to $5,000 Fine for NY Lawyers », juin 2023 : news.bloomberglaw.com

1. Ziwei Ji et al., « Survey of Hallucination in Natural Language Generation », ACM Computing Surveys, 2023 (prépublication arXiv:2202.03629). Les auteurs y recensent les formes d’hallucination observées dans les systèmes de génération de texte.
2. Mata v. Avianca, Inc., Tribunal fédéral du district sud de New York, juge P. Kevin Castel, 2023. Voir Bloomberg Law, « Phony ChatGPT Brief Leads to $5,000 Fine for NY Lawyers », juin 2023.
3. Committee on Publication Ethics (COPE), « Authorship and AI tools », déclaration de position publiée le 13 février 2023. La déclaration précise que les auteurs restent entièrement responsables du contenu de leur manuscrit, y compris des parties produites par un outil d’IA.
4. Ibid. La déclaration demande que l’outil utilisé et la manière dont il l’a été soient indiqués dans la section consacrée aux matériels et méthodes.