Orthographe : l’IA est-elle une bonne correctrice ?

Nous avons testé ChatGPT en matière d’orthographe, en deux temps, aux mois de juin et de décembre 2024, en lui soumettant des documents que l’on peut retrouver sur le blog unmondesansfautes.com. Il s’agit de trois tests sur les participes passés (tests à difficulté croissante) et d’un jeu intitulé « Le cent fautes ». Avant de vous livrer les scores obtenus par l’IA, quelques constats.

Enthousiasmante IA ! qui permet la génération d’images comme celle-ci (conçue par Grok). Enfin, mis à part le côté aberrant de cette machine à écrire… Et en correction orthographique, que vaut pour sa part ChatGPT ? Trouvera-t-on aussi dans ses propositions de correction quelques aberrations ?

Autant le dire tout de suite, GPT-4 est un outil intéressant en matière de correction. Sa rapidité d’exécution, dans ce domaine comme dans d’autres, est impressionnante. Alors oui, on ne peut que recommander de l’utiliser pour éliminer les principales fautes d’un document… Toutefois, il y aura dans ce qui va suivre de très gros « MAIS ! »

(Nous avons aussi testé brièvement deux autres IA : LanguageTool et Scribbr, qui nous semblent a priori moins intéressantes que GPT-4 – nous donnerons également quelques-uns de leurs résultats. Toutes les remarques générales que nous ferons à propos de ChatGPT pourront en grande partie leur être applicables.)

Corrections de l’IA : une aide appréciable

GPT-4, comme un simple correcteur Word, détectera la très grande majorité de vos fautes d’orthographe usuelle (si vous avez oublié un « p » à « appeler », par exemple).

En ce qui concerne les fautes de grammaire, le correcteur Word sera bien en deçà de l’IA. Mais on le savait depuis longtemps : Word et la grammaire font bien deux.

ChatGPT est en mesure de corriger certaines phrases recelant des règles grammaticales assez complexes. Il pourrait même être parfois un peu supérieur, de ce point de vue, au précieux logiciel professionnel Le Robert correcteur, utilisé par nombre de grands journaux.

Une aide appréciable : oui, mais…

Les petites batteries de tests que nous avons effectuées en deux fois, aux mois de juin et de décembre (en utilisant à chaque fois les mêmes documents), nous révèlent donc ceci :

L’un des meilleurs outils de correction

GPT-4 obtient de meilleurs résultats que la plupart des logiciels de correction. Il devient par là même un outil très utile pour la révision de vos textes. Il est à noter que la comparaison entre ChatGPT et Le Robert correcteur semble donner un léger avantage au premier. La différence entre les deux reste cependant bien mince.

Orthographe usuelle : toujours quelques coquilles

Il est encore certaines fautes courantes que l’IA ne détecte pas (contrairement au Robert correcteur), comme « par acquis de conscience », au lieu de « par acquiT de concience », ou « sans aucun frais », au lieu de « sans aucunS frais ». Pas plus au mois de juin que ces derniers jours, GPT-4 n’a pu corriger ces fautes… Un problème mineur qui sera sans doute réglé très rapidement.

La grammaire ne change pas ; celle de ChatGPT, si

GPT-4 peut corriger une faute de grammaire liée à une règle complexe en vous expliquant pourquoi il a procédé à cette rectification. Cependant, ne lui accordez pas toute confiance : si vous lui soumettez une même phrase à quelques minutes d’intervalle, il peut très bien arriver à la bonne solution dans un premier temps, et à une autre conclusion ensuite, tout en justifiant sa nouvelle réponse avec le même aplomb que précédemment.

Obstination artificielle ! GPT-4 soutient ici qu’il faut mettre un « s » à « vingt » dans « quatre-vingt mille euros » ! Il réécrit la règle à sa sauce et vous induit en erreur sans « sourciller ». Pour rappel, voici la vraie règle : Accord des adjectifs numéraux.

Le problème de la contextualisation

En effet, là où Le Robert Correcteur se contentera de vous signaler de faire attention tout en vous rappelant la règle, l’IA corrigera, sans prendre en compte ses propres faiblesses, et notamment celle de ne pas pouvoir assez contextualiser les mots qu’elle examine. Reprenons cet exemple que l’on trouve dans le test du « Cent fautes ». Il y est question des couleurs des anciennes tenues de prisonnier : blanc et noir. Des tenues bicolores, « blanc et noir », donc, comme le veut la règle d’accord des adjectifs de couleur, et non « blanches et noires », tel que le corrige l’IA, incapable, contrairement à tout un chacun, de se représenter la scène décrite par l’auteur.

(Écrire « des tenues blanches et noires » reviendrait à dire que les prisonniers revêtaient pour les uns des tenues toutes blanches, pour les autres des tenues toutes noires. Pour ceux qui auraient encore un doute, voici le lien qui explique… les règles d’accord des adjectifs de couleur.)

Pour vos prompts, un conseil en passant

Attention aussi aux instructions que vous donnerez à ChatGPT : précisez que vous désirez seulement une correction orthographique et grammaticale de votre texte, et aucunement des modifications de phrases ou de vocabulaire… Vous risqueriez autrement de vous retrouver avec des changements impromptus, quelquefois farfelus. Dans l’un de nos tests, « un homme frustre », que l’on aurait pu légitimement s’attendre à voir corriger « un homme frusTE », est devenu « un homme frustré » (malgré notre demande préalable de ne pas changer le vocabulaire).

GPT 4, Le Robert correcteur… Les scores (enfin !)

Allez, voici donc les scores de GPT-4 aux tests d’orthographe et de grammaire que nous lui avons fait passer. Rappelons que les tests sur les participes passés sont de niveaux croissants, des plus faciles aux plus « difficiles ».

On notera le très mauvais score de ChatGPT pour le test le plus compliqué sur les participes passés. Une personne entraînée et connaissant bien les règles obtiendrait de son côté (assez facilement) un score supérieur ou égal à 18/20.

Vous trouverez dans la deuxième colonne le score du logiciel Le Robert correcteur, et vous verrez que ce logiciel, malgré l’arrivée de l’IA, demeure un outil très compétitif.

5 points pour résumer et conclure

• Meilleur que la plupart des logiciels de correction, GPT-4 est un outil très utile pour éliminer nombre de fautes dans vos documents.

• Soyez précis dans vos instructions initiales. Demandez-lui de ne pas changer le vocabulaire ou les structures de vos phrases sans vous en informer. Vous risqueriez autrement d’avoir de fâcheuses surprises à la relecture.

• L’IA laissera cependant des fautes. Il lui demeure impossible de prendre pleinement en compte le sens des mots dans un contexte particulier donné par l’auteur, et donc d’appliquer les règles en conséquence.

• Ne vous laissez pas trop influencer par le ton docte et catégorique de ChatGPT lorsqu’il commente une règle de grammaire. Il lui arrive de se tromper, ou de donner la bonne règle, mais de mal l’appliquer.

• En ce qui concerne l’orthographe, l’IA n’est pas encore à même de concurrencer l’intelligence humaine… L’aide qu’elle est en mesure d’apporter dans ce domaine ne peut dispenser collégiens, étudiants et professionnels d’un apprentissage sérieux et régulier des règles grammaticales qui régissent notre langue… et donc leurs écrits.

Allez ! Un dernier exemple de fautes commises par GPT-4, avec cet extrait du test 2 sur les participes passés.

Les propositions de GPT-4 pour les phrases 18 et 19 sont bonnes. Les participes passés des quatre autres phrases sont en revanche très mal accordés !

LanguageTool et Scribbr : deux autres IA testées en orthographe !

Nous avons également fait passer les tests sur les participes passés à deux autres IA « spécialisées » en orthographe : LanguageTool et Scribbr.

LanguageTool : 15/20 (test 1), 14/20 (test 2), 11/20 (test 3).

Scribbr : 19/20 (test 1), 15/20 (test 2), 8/20 (test 3).

Et vous ? Serez-vous meilleur que l’IA ? Test 1 sur les participes passés.