DAKAR ,20 juillet 2025 (JVFE)-Les hallucinations d’IA constituent un problème majeur pour les acteurs économiques. En effet, des erreurs d’analyse ou de traitement des informations peuvent provoquer des dysfonctionnements majeurs dans les organisations utilisant les IA dans leur processus productif. Ainsi, le syndrome hallucinatoire artificiellement généré (SHAG) désigne l’état psychique des individus influencés par ces IA défectueuses. Il convient de s’en prémunir en ayant recours à des acteurs chargés de vérifier la rationalité des machines, nommés hallu-traqueurs, dont la fonction sera d’optimiser les IA, mais aussi de former les acteurs économiques à l’utilisation des IA. La pédagogie à l’égard de cette technologie sera ainsi nécessaire afin d’éviter les risques d’erreurs liés à son utilisation inappropriée.
Une etude récente menée par des chercheurs de l’Université de Stanford met en lumière les défis persistants auxquels sont confrontés les outils d’intelligence artificielle (IA) utilisés dans la recherche juridique. Malgré l’émergence de ces outils, basés sur les grands modèles de langage (LLM) et les systèmes de recherche d’informations, les résultats de cette étude révèlent qu’ils restent sujets à des hallucinations, produisant des résultats incorrects dans un pourcentage significatif de cas.
Cette étude, présentée comme la première “évaluation empirique préenregistrée des outils de recherche juridique pilotés par l’IA”, a testé les performances de plusieurs produits proposés par des fournisseurs majeurs, tels que Lexis+ AI de LexisNexis, Westlaw AI-Assisted Research et Ask Practical Law AI de Thomson Reuters. Les chercheurs ont comparé ces outils à GPT-4 d’OpenAI sur plus de 200 requêtes juridiques construites manuellement.
Les résultats ont révélé que, bien que les outils juridiques AI utilisent des techniques de génération assistée par récupération (RAG)* pour atténuer les hallucinations, ces outils hallucinent encore à un taux alarmant. Entre 17 et 33% des requêtes ont produit des résultats erronés, malgré les améliorations apportées par le RAG par rapport à GPT-4 sans RAG.
Les chercheurs ont identifié plusieurs défis majeurs auxquels sont confrontés ces outils d’IA dans le domaine juridique. Tout d’abord, les requêtes juridiques sont souvent complexes et ne peuvent pas être réduites à une simple question et réponse. La nature des cas juridiques peut nécessiter la récupération d’informations provenant de multiples sources et documents dans le temps, ce qui rend la tâche des outils d’IA encore plus difficile.
De plus, définir ce qui constitue une hallucination dans le contexte juridique peut être complexe. Les chercheurs considèrent qu’une réponse est une hallucination si elle est incorrecte ou mal fondée, ce qui signifie que les faits sont corrects mais ne s’appliquent pas dans le contexte de l’affaire juridique en discussion. Cette distinction subtile nécessite une analyse approfondie et peut être difficile à automatiser pour les outils d’IA.
Une autre difficulté réside dans la pertinence des documents récupérés par les systèmes de RAG. Contrairement aux systèmes basés sur la similarité textuelle, la pertinence des documents en droit ne repose pas uniquement sur le texte lui-même. Récupérer des documents qui semblent textuellement pertinents mais qui sont en réalité non pertinents peut avoir un impact négatif sur la performance du système.
Ces voix critiques s’ajoutent aux affaires récentes d’avocats ayant eu recours à l’IA dans leurs plaidoiries. De simples erreurs, excès de confiance, voire des manipulations de l’IA pour citer une jurisprudence fictive ont régulièrement défrayé la chronique ces derniers mois outre atlantique., confirmant la capacité de Bard comme ChatGPT à fabriquer des affaires, sur commande ou à l’insu de leurs utilisateurs
Malgré ces défis, les chercheurs de Stanford reconnaissent que les outils d’IA pour la recherche juridique peuvent apporter une valeur ajoutée par rapport aux méthodes traditionnelles. Ils peuvent aider les avocats à accéder plus rapidement à des informations pertinentes et à analyser de vastes ensembles de données juridiques. Cependant, il est important de reconnaître leurs limites et de les utiliser avec discernement.
Dans une déclaration à ventureBeat, Daniel E. Ho, professeur de droit à Stanford et co-auteur de l’étude, souligne l’importance d’une plus grande transparence et d’un benchmarking dans l’IA juridique. Il souligne que l’industrie de la legal tech doit être plus ouverte quant à la performance réelle de ses produits, afin d’éviter des conséquences néfastes pour les avocats et leurs clients.
En réponse à cette étude, les fournisseurs d’outils d’IA juridique ont exprimé des points de vue variés. Certains ont souligné les efforts déployés pour améliorer la qualité de leurs produits et ont proposé des solutions pour relever les défis identifiés par l’étude. D’autres ont remis en question les conclusions de l’étude et ont souligné les limitations de la méthodologie utilisée.
Une approche collaborative et transparente entre chercheurs et grands acteurs legaltech reste essentielle pour relever les défis actuels et améliorer la qualité des outils d’IA dans le domaine juridique. Un débat sur les performances alimenté par de nombreuses autres sources : une étude menée par la Cour des comptes française fin 2023 , comme rapporté dans cet article de CIO Online , soulignait également les limitations des technologies d’IA, en particulier dans le domaine de la détection de la fraude fiscale.
Dans un message sincère publié sur LinkedIn, suscitant un débat dans les cercles technologiques, un ingénieur en apprentissage automatique a lancé un avertissement sévère : les outils d’IA ne se contentent pas de remodeler le développement logiciel, ils pourraient bien le détruire.
« L’IA est en train de créer la pire génération de développeurs de l’histoire », a déclaré l’ingénieur, prédisant que d’ici 2026, l’industrie verra la première vague d’ingénieurs natifs de l’IA être licenciés.
L’inquiétude ne se limite pas aux individus. Avec des outils d’IA sujets aux hallucinations, aux pannes et aux limitations de débit, les équipes trop dépendantes risquent de se retrouver paralysées.
Une nouvelle génération d’« ingénieurs »
Au cœur de la critique se trouve une dépendance croissante à des outils comme ChatGPT, qui, selon l’ingénieur, a donné naissance à une génération de développeurs capables de coller du code, mais qui ne peuvent pas l’expliquer, le déboguer ou construire quoi que ce soit de bout en bout.
De nombreux développeurs juniors suivent aujourd’hui, selon le post, un schéma inquiétant :
- Coller le code de ChatGPT
- Je ne comprends pas comment ça marche
- On ne peut pas le réparer quand il casse
- Présentez des projets brisés et inachevés
« Lorsque leur code généré par l’IA tombe en panne en production (et cela arrivera), ils se rendront vite compte :
- Ils ne peuvent pas le réparer
- ChatGPT ne peut pas le réparer
- Stack Overflow ne peut pas les enregistrer
« Ils sont fonctionnellement analphabètes », peut-on lire dans le message.
Les signaux d’alerte à l’embauche sont déjà visibles
S’appuyant sur des entretiens techniques récents, l’ingénieur a expliqué comment de nombreux candidats s’appuient désormais entièrement sur les résultats de l’IA, souvent sans comprendre une seule ligne.
« Expliquez-moi ce code. »
« Eh bien, ChatGPT a dit… »
« Mais POURQUOI ça marche ? »
[Silence]. »
Nouvelle prime : le « développeur pré-IA »
À l’avenir, l’article prédit une fracture profonde. D’ici 2027, les développeurs ayant acquis des compétences fondamentales avant l’essor de l’IA seront très recherchés, comparables aux artisans à l’ère de l’automatisation.
« Les rares humains capables de déboguer sans chatbot seront privilégiés. Nous passons de “tout le monde peut coder” à “personne ne sait comment rien fonctionne”. »
L’inquiétude ne se limite pas aux individus. Avec des outils d’IA sujets aux hallucinations, aux pannes et aux limitations de débit, les équipes trop dépendantes risquent de se retrouver paralysées.
« Lorsque les modèles d’IA tombent en panne ou produisent simplement des hallucinations erronées, toute votre équipe d’ingénierie devient inutile », a averti l’ingénieur.
« Controversé ? Peut-être. Vrai ? On verra dans 24 mois. Combien de développeurs dans votre équipe pourraient déboguer sans IA ? Soyons honnêtes. Le mien est passé de 8/10 à 3/10 en deux ans. »
L’article se termine par un défi direct lancé aux dirigeants technologiques : formons-nous des résolveurs de problèmes ou des ingénieurs prompts ?
Les développeurs donnent leur avis
Cette publication a trouvé un écho en ligne, et de nombreuses personnes ont fait écho à cette inquiétude.
« Je trouve que copier une ou deux lignes de Copilot ou d’un LLM fonctionne bien si l’on retient l’information en la comprenant », a partagé un utilisateur. « Mais copier aveuglément de gros blocs, surtout du code inconnu, rend le débogage et l’apprentissage plus difficiles. »
Un autre a ajouté : « L’IA ne tuera pas l’ingénierie, mais une dépendance excessive pourrait bien le faire. On ne peut pas construire des gratte-ciel sur du sable. L’avenir appartient aux équipes qui associent l’IA à une véritable compréhension. »
