JudgeGPT Pakistan vient de faire l’objet d’une étude d’ampleur inédite qui quantifie pour la première fois l’effet d’un outil d’intelligence artificielle sur le travail des tribunaux. Les juges formés à son usage ont traité 6,3 % de dossiers en plus par an, pour un retour sur investissement estimé à 38,50 dollars par dollar dépensé. Menée par des chercheurs d’ETH Zurich, d’Imperial College London et de la New Economic School, elle porte sur 1 559 juges répartis dans 118 tribunaux, soit environ la moitié des juges de première instance du pays.
Un assistant juridique bâti sur GPT-4
JudgeGPT s’appuie sur le modèle GPT-4 d’OpenAI, associé à une architecture de recherche augmentée (RAG) qui interroge une base de 129 235 documents : 128 292 décisions de justice et 943 textes de loi pakistanais. Concrètement, l’outil aide les magistrats à effectuer des recherches jurisprudentielles, à rédiger des documents et à retrouver des textes de référence, avec des réponses systématiquement sourcées dans cette base plutôt que générées librement. L’objectif affiché n’est pas de remplacer le jugement humain, mais d’accélérer les tâches de recherche qui absorbent une bonne partie du temps des magistrats.
Un essai randomisé à grande échelle
Sous la direction du professeur Elliott Ash (ETH Zurich), l’étude a comparé deux groupes de magistrats selon un protocole randomisé, considéré comme la méthode la plus rigoureuse pour isoler l’effet réel d’un outil. Les juges du groupe test ont suivi six séances de formation de 90 minutes étalées sur trois semaines, tandis que le groupe témoin s’est limité à des séminaires généraux sans formation à l’outil. Résultat : les tribunaux formés ont traité environ 1 848 dossiers supplémentaires par an et par juridiction, soit une hausse de 6,3 % du volume d’affaires réglées.
Des gains sans dérive apparente sur la qualité
Les chercheurs ont aussi cherché à mesurer les effets secondaires potentiels d’un tel outil sur la qualité de la justice rendue. Les taux d’appel sont restés stables, voire ont légèrement diminué, ce qui suggère que la vitesse gagnée ne se fait pas au détriment de la solidité des jugements. Aucune hausse détectable de biais lié au genre ou à la religion des parties n’a par ailleurs été observée dans les décisions rendues par les juges formés. Sur la qualité perçue des jugements, des évaluations comparatives par des tiers donnent l’avantage aux juges formés dans 59 % des cas, contre 42 % pour le groupe témoin.
Un signal pour d’autres systèmes judiciaires engorgés
Le Pakistan n’est pas un cas isolé : de nombreux systèmes judiciaires, y compris en Europe, cumulent des retards de plusieurs années sur certains types de dossiers. Les résultats de cette étude, relayée par The Decoder, alimentent un débat plus large sur la place de l’IA générative dans les institutions publiques, au-delà des seuls usages commerciaux ou créatifs qui dominent habituellement l’actualité. L’échelle du test — plus de la moitié des juges de première instance d’un pays de 240 millions d’habitants — en fait l’une des évaluations les plus robustes publiées à ce jour sur l’IA appliquée à la justice.
Qu’est-ce que JudgeGPT ?
JudgeGPT est un outil d’intelligence artificielle basé sur GPT-4 d’OpenAI, conçu pour aider les juges pakistanais à effectuer des recherches jurisprudentielles et à rédiger des documents à partir d’une base de plus de 129 000 textes de loi et décisions de justice.
Quel est le retour sur investissement mesuré par l’étude ?
Les chercheurs d’ETH Zurich, d’Imperial College London et de la New Economic School estiment un retour de 38,50 dollars par dollar investi, avec une estimation prudente d’au moins 10 dollars par dollar.
L’IA a-t-elle introduit des biais dans les jugements ?
Non, l’étude n’a détecté aucune augmentation de biais lié au genre ou à la religion dans les décisions rendues par les juges formés à l’outil, et les taux d’appel sont restés stables.