OpenAI a publié le 9 juillet 2026 une analyse qui fait tache dans le petit monde des SWE-Bench Pro : entre 27,4 % et 34,1 % des tâches de ce benchmark, largement utilisé pour évaluer les capacités de codage des modèles d’IA, seraient buggées. L’entreprise annonce retirer son adhésion au test.
Comment OpenAI a détecté les failles
La méthode tient en trois étapes. D’abord, un outil de détection automatisé a passé au crible l’ensemble des tâches du benchmark et en a signalé 286 comme suspectes. Ensuite, des agents IA basés sur Codex ont examiné chacune d’elles en détail. Enfin, des chercheurs humains ont validé les résultats, avec une revue parallèle menée par cinq développeurs logiciels expérimentés.
Résultat : sur les 731 tâches passées à la moulinette automatisée, 200 ont été jugées buggées, soit 27,4 %. Quand ce sont des humains qui reprennent la main sur un sous-ensemble de 249 tâches, le taux grimpe à 34,1 %. Deux méthodes, deux chiffres, mais une même conclusion : plus d’un quart du test ne mesure pas ce qu’il prétend mesurer.
Des erreurs qui faussent le classement des modèles
Selon OpenAI, les tâches incriminées souffrent de critères trop stricts, d’énoncés trop vagues, ou sont carrément superficielles ou mal orientées. L’entreprise illustre le problème par une formule qui résume bien l’absurdité de certains cas : un simple caractère d’espace peut suffire à faire basculer une tâche entre succès et échec.
Le problème dépasse la simple coquetterie académique. Les scores obtenus sur ce type de benchmark influencent directement les décisions de publication des modèles et les évaluations de sécurité menées par les laboratoires. Un test buggé, c’est potentiellement un mauvais modèle qui passe pour meilleur qu’il ne l’est, ou l’inverse.
Un signal d’alarme pour l’industrie des benchmarks
SWE-Bench Pro sert de référence à une bonne partie de l’industrie pour comparer les capacités de codage des grands modèles de langage, qu’ils soient propriétaires ou open source. En retirant son approbation du test, OpenAI met une pression directe sur la fiabilité des classements affichés par ses concurrents comme par elle-même.
L’épisode rappelle que la course aux benchmarks, aussi spectaculaire soit-elle en pourcentages, repose sur des fondations parfois plus fragiles qu’il n’y paraît. Reste à voir si d’autres laboratoires vont suivre OpenAI dans cet audit de leurs propres outils d’évaluation.
Source : OpenAI, « Separating signal from noise in coding evaluations »
Qu’est-ce que SWE-Bench Pro ?
SWE-Bench Pro est un benchmark utilisé par l’industrie de l’IA pour évaluer les capacités de codage des grands modèles de langage sur des tâches d’ingénierie logicielle réelles.
Quel pourcentage du benchmark est buggé selon OpenAI ?
Entre 27,4 % (détection automatisée sur 731 tâches) et 34,1 % (revue humaine sur 249 tâches), selon la méthode employée par OpenAI.
Quelles conséquences pour les modèles déjà évalués sur ce test ?
Les scores obtenus influencent les décisions de publication et les évaluations de sécurité des laboratoires, donc des classements pourraient devoir être révisés à la lumière de ces failles.