Nous
avons testé ChatGPT en matière d’orthographe, en deux temps, aux
mois de juin et de décembre 2024, en lui soumettant des
documents que l’on peut retrouver sur le blog
unmondesansfautes.com. Il s’agit de trois tests sur les participes
passés (tests à difficulté croissante) et d’un jeu intitulé
« Le cent fautes ». Avant de vous livrer les scores
obtenus par l’IA, quelques constats.
 |
Enthousiasmante
IA ! qui permet la génération d’images comme celle-ci
(conçue par Grok). Enfin, mis à part le côté aberrant de cette
machine à écrire… Et en correction orthographique, que vaut pour
sa part ChatGPT ? Trouvera-t-on aussi dans ses propositions de correction quelques aberrations ?
|
Autant
le dire tout de suite, GPT-4 est un outil intéressant en matière de
correction. Sa rapidité d’exécution, dans ce domaine comme dans
d’autres, est impressionnante. Alors oui, on ne peut que
recommander de l’utiliser pour éliminer les principales fautes
d’un document… Toutefois, il y aura dans ce qui va suivre de très
gros « MAIS ! »
(Nous avons aussi testé brièvement deux autres IA : LanguageTool et Scribbr, qui nous semblent a priori moins intéressantes que GPT-4 – nous donnerons également quelques-uns de leurs résultats. Toutes les remarques générales que nous ferons à propos de ChatGPT pourront en grande partie leur être applicables.)
Corrections
de l’IA : une aide appréciable
GPT-4, comme un simple correcteur Word, détectera la
très grande majorité de vos fautes d’orthographe usuelle (si vous
avez oublié un « p » à « appeler », par exemple).
En
ce qui concerne les fautes de grammaire, le correcteur Word
sera bien en deçà de l’IA. Mais on le savait depuis longtemps :
Word et la grammaire font bien deux.
ChatGPT
est en mesure de corriger certaines phrases recelant des règles
grammaticales assez complexes. Il pourrait même être parfois un peu
supérieur, de ce point de vue, au précieux logiciel professionnel
Le Robert correcteur, utilisé par nombre de grands journaux.
Une
aide appréciable : oui, mais…
Les
petites batteries de tests que nous avons effectuées en deux fois,
aux mois de juin et de décembre (en utilisant à chaque fois les
mêmes documents), nous révèlent donc ceci :
L’un
des meilleurs outils de correction
GPT-4 obtient de
meilleurs résultats que la plupart des logiciels de correction. Il
devient par là même un outil très utile pour la révision de vos
textes. Il est à noter que la comparaison entre ChatGPT et Le Robert
correcteur semble donner un léger avantage au premier. La différence
entre les deux reste cependant bien mince.
Orthographe
usuelle : toujours quelques coquilles
Il est encore
certaines fautes courantes que l’IA ne détecte pas (contrairement
au Robert correcteur), comme « par acquis de conscience »,
au lieu de « par acquiT de concience », ou « sans
aucun frais », au lieu de « sans aucunS frais ».
Pas plus au mois de juin que ces derniers jours, GPT-4 n’a pu
corriger ces fautes… Un problème mineur qui sera sans doute réglé très
rapidement.
La
grammaire ne change pas ; celle de ChatGPT, si
GPT-4
peut corriger une faute de grammaire liée à une règle complexe en
vous expliquant pourquoi il a procédé à cette rectification.
Cependant, ne lui accordez pas toute confiance : si vous lui
soumettez une même phrase à quelques minutes d’intervalle, il
peut très bien arriver à la bonne solution dans un premier temps,
et à une autre conclusion ensuite, tout en justifiant sa nouvelle
réponse avec le même aplomb que précédemment.
 |
Obstination
artificielle ! GPT-4 soutient ici qu’il
faut mettre un « s » à « vingt » dans
« quatre-vingt mille euros » ! Il réécrit la règle à sa sauce et vous induit en erreur sans « sourciller ». Pour
rappel, voici la vraie règle : Accord des adjectifs numéraux.
|
Le
problème de la contextualisation
En effet, là où Le
Robert Correcteur se contentera de vous signaler de faire attention
tout en vous rappelant la règle, l’IA corrigera, sans prendre en
compte ses propres faiblesses, et notamment celle de ne pas pouvoir
assez contextualiser les mots qu’elle examine. Reprenons cet
exemple que l’on trouve dans le test du « Cent fautes ».
Il y est question des couleurs des anciennes tenues de prisonnier : blanc et noir. Des tenues bicolores, « blanc et
noir », donc, comme le veut la règle d’accord des adjectifs de
couleur, et non « blanches et noires », tel que le
corrige l’IA, incapable, contrairement à tout un chacun, de se
représenter la scène décrite par l’auteur.
(Écrire
« des tenues blanches et noires » reviendrait à dire que
les prisonniers revêtaient pour les uns des tenues toutes blanches,
pour les autres des tenues toutes noires. Pour ceux qui auraient
encore un doute, voici le lien qui explique… les règles d’accord des adjectifs de couleur.)
Pour
vos prompts, un conseil en passant
Attention aussi aux
instructions que vous donnerez à ChatGPT : précisez que vous
désirez seulement une correction orthographique et grammaticale de
votre texte, et aucunement des modifications de phrases ou de
vocabulaire… Vous risqueriez autrement de vous retrouver avec des
changements impromptus, quelquefois farfelus. Dans l’un de nos
tests, « un homme frustre », que l’on aurait pu
légitimement s’attendre à voir corriger « un homme
frusTE », est devenu « un homme frustré » (malgré
notre demande préalable de ne pas changer le vocabulaire).
GPT 4,
Le Robert correcteur… Les scores (enfin !)
Allez,
voici donc les scores de GPT-4 aux tests d’orthographe et de
grammaire que nous lui avons fait passer. Rappelons que les tests sur
les participes passés sont de niveaux croissants, des plus faciles
aux plus « difficiles ».
On
notera le très mauvais score de ChatGPT pour le test le plus
compliqué sur les participes passés. Une personne entraînée et
connaissant bien les règles obtiendrait de son côté (assez
facilement) un score supérieur ou égal à 18/20.
Vous
trouverez dans la deuxième colonne le score du logiciel Le Robert
correcteur, et vous verrez que ce logiciel, malgré l’arrivée de
l’IA, demeure un outil très compétitif.
5
points pour résumer et conclure
- Meilleur
que la plupart des logiciels de correction, GPT-4 est un outil
très utile pour éliminer nombre de fautes dans vos documents.
- Soyez
précis dans vos instructions initiales. Demandez-lui de ne pas
changer le vocabulaire ou les structures de vos phrases sans vous
en informer. Vous risqueriez autrement d’avoir de fâcheuses
surprises à la relecture.
- L’IA
laissera cependant des fautes. Il lui demeure impossible de prendre
pleinement en compte le sens des mots dans un contexte particulier
donné par l’auteur, et donc d’appliquer les règles en
conséquence.
- Ne
vous laissez pas trop influencer par le ton docte et catégorique de
ChatGPT lorsqu’il commente une règle de grammaire. Il lui arrive
de se tromper, ou de donner la bonne règle, mais de mal l’appliquer.
- En
ce qui concerne l’orthographe, l’IA n’est pas encore à même de
concurrencer l’intelligence humaine… L’aide qu’elle est en mesure
d’apporter dans ce domaine ne peut dispenser collégiens, étudiants
et professionnels d’un apprentissage sérieux et régulier des
règles grammaticales qui régissent notre langue… et donc leurs
écrits.
Allez ! Un dernier exemple de fautes commises par GPT-4, avec cet extrait du test 2 sur les participes passés.
 |
Les propositions de GPT-4 pour les phrases 18 et 19 sont bonnes. Les participes passés des quatre autres phrases sont en
revanche très mal accordés !
LanguageTool et Scribbr : deux autres IA testées en orthographe !Nous avons également fait passer les tests sur les participes passés à deux autres IA « spécialisées » en orthographe : LanguageTool et Scribbr. LanguageTool : 15/20 (test 1), 14/20 (test 2), 11/20 (test 3). Scribbr : 19/20 (test 1), 15/20 (test 2), 8/20 (test 3).
|
