Un nouveau benchmark baptisé RadLE 2.0, pour « Radiology’s Last Exam », vient d’évaluer si les systèmes d’IA en imagerie médicale savent reconnaître leurs propres limites. Développé par le CRASH Lab de l’université Ashoka en Inde, ce RadLE 2.0 a testé quinze modèles — dont Claude Fable 5 d’Anthropic, Gemini 3 Pro de Google, Meta Muse Spark 1.1 et Grok 4.5 — sur 200 cas cliniques, en mesurant précision diagnostique, calibrage de la confiance et capacité à refuser de répondre.
Des radiologues encore largement devant, mais l’écart se resserre
Sur l’échelle de points du test, les radiologues humains obtiennent un score de 988,7 sur 2000, contre 758 points pour le meilleur modèle d’IA évalué. Gemini 3 Pro affiche la meilleure précision brute, tandis que Claude Fable 5 se distingue par la fiabilité de ses réponses lorsqu’il choisit d’y répondre. La progression reste rapide : sur la première version du benchmark, RadLE 1.0, les radiologues atteignaient 83 % d’exactitude contre environ 30 % pour le meilleur modèle ; en trois mois, Gemini 3 Pro avait déjà rattrapé le niveau des radiologues en formation.
Le vrai problème : la confiance excessive face à l’incertitude
Au-delà du score brut, RadLE 2.0 s’intéresse surtout à un point plus inquiétant : la capacité des modèles à admettre qu’ils ne savent pas. Une étude parue en avril 2026 dans JAMA Network Open, portant sur 21 modèles, avait déjà pointé cette tendance des IA à produire des diagnostics erronés avec une assurance trompeuse plutôt que de signaler leur incertitude. Une autre étude polonaise de 2025 illustre le risque concret : lors de coloscopies assistées par IA, le taux de détection de lésions précancéreuses par les médecins a chuté de 28,4 % à 22,4 % après une période de dépendance à l’assistance algorithmique.
Ces résultats, croisés avec ceux publiés dans Nature et npj Digital Medicine, dessinent un constat partagé par plusieurs équipes de recherche indépendantes : la performance diagnostique progresse plus vite que la capacité des modèles à évaluer leur propre fiabilité.
Ce que ça signifie pour l’usage clinique
Le rapport détaillé de The Decoder sur RadLE 2.0 souligne que la question n’est plus seulement de savoir si l’IA peut lire une radiographie, mais si elle peut le faire en sachant quand elle a tort. C’est cette distinction qui, selon le CRASH Lab, doit guider toute discussion sur l’autonomie clinique des modèles de langage en imagerie médicale.
Qu’est-ce que RadLE 2.0 ?
RadLE 2.0 (Radiology’s Last Exam) est un benchmark développé par le CRASH Lab de l’université Ashoka qui évalue si les IA en radiologie reconnaissent leurs propres limites, en mesurant précision diagnostique, calibrage de la confiance et capacité à refuser de répondre.
Quel modèle obtient les meilleurs résultats sur RadLE 2.0 ?
Gemini 3 Pro de Google affiche la meilleure précision brute avec 758 points sur 2000, tandis que Claude Fable 5 d’Anthropic se distingue par la fiabilité de ses réponses.
Pourquoi la confiance excessive de l’IA pose-t-elle problème en radiologie ?
Une étude parue dans JAMA Network Open montre que les modèles produisent souvent des diagnostics erronés avec une assurance trompeuse au lieu de signaler leur incertitude, un risque documenté aussi par une étude polonaise sur les coloscopies assistées par IA.