OpenAI affirme dépasser Claude Opus 5 sur le benchmark ARC-AGI-3 grâce à deux réglages inédits de son API, activés sur GPT-5.6 Sol. Dans un billet publié le 29 juillet 2026, l’entreprise détaille comment ces paramètres ont fait grimper son score de 7,8 % à 38,3 % — un chiffre supérieur aux 30,2 % obtenus par le modèle d’Anthropic sur le harnais officiel du test.
Deux réglages, un score multiplié par cinq
Le premier réglage, baptisé Retained Reasoning, conserve la chaîne de raisonnement du modèle d’une étape à l’autre au lieu de la réinitialiser à chaque nouvelle requête. Le second, Compaction, résume le contexte ancien plutôt que de le tronquer brutalement quand la fenêtre de contexte se remplit. Combinés, ces deux paramètres ont permis à GPT-5.6 Sol de passer de 7,8 % à 38,3 % sur ARC-AGI-3, un test conçu pour évaluer la capacité des modèles à généraliser sur des tâches de raisonnement visuel inédites plutôt qu’à reconnaître des schémas déjà vus à l’entraînement.
Une comparaison à nuancer
Le détail compte : le score de 7,8 % correspond au résultat de GPT-5.6 Sol avec le harnais officiel d’ARC Prize, celui utilisé pour classer tous les modèles de façon comparable. Le score de 38,3 % a lui été obtenu via la Responses API propre à OpenAI, avec une configuration que l’entreprise a elle-même choisie. Claude Opus 5, de son côté, affiche 30,2 % sur le harnais officiel — la même base que le 7,8 % de GPT-5.6 Sol, pas son 38,3 %. OpenAI compare donc sa meilleure configuration maison à la performance d’Opus 5 sur le protocole standard, un choix méthodologique qui explique l’essentiel de l’écart affiché.
Le vrai sujet : la gestion du raisonnement long
Au-delà du duel de scores, l’enseignement technique de cet article concerne tous les développeurs qui construisent des agents IA sur des tâches longues : la façon de gérer la mémoire de raisonnement et le contexte a un impact direct sur les performances, parfois plus déterminant que le choix du modèle lui-même. ARC-AGI, conçu à l’origine par le chercheur François Chollet pour mesurer une forme de généralisation proche du raisonnement humain, devient ainsi un terrain où les laboratoires optimisent autant leur infrastructure d’inférence que leurs modèles. Retained Reasoning et Compaction sont déjà disponibles via l’API d’OpenAI pour les développeurs qui veulent tester leur effet sur leurs propres cas d’usage.
Un signal pour la comparaison des modèles
Cet épisode illustre une tendance de fond : à mesure que les laboratoires publient des scores obtenus avec leurs propres réglages plutôt qu’avec les harnais standardisés, comparer les modèles d’IA sur la seule base des annonces officielles devient plus délicat. Pour les développeurs, la meilleure approche reste de reproduire les tests sur ses propres cas d’usage plutôt que de se fier aux pourcentages mis en avant dans les communiqués.
Qu’est-ce que le benchmark ARC-AGI-3 ?
ARC-AGI-3 est un test conçu pour évaluer la capacité des modèles d’IA à généraliser sur des tâches de raisonnement visuel inédites, plutôt qu’à mémoriser des schémas déjà vus à l’entraînement.
GPT-5.6 Sol bat-il vraiment Claude Opus 5 ?
Selon OpenAI, oui, mais uniquement avec sa propre configuration API (38,3 %) comparée au score d’Opus 5 sur le harnais officiel (30,2 %). Sur ce même harnais officiel, GPT-5.6 Sol ne dépasse pas 7,8 %.
Que sont Retained Reasoning et Compaction ?
Deux réglages de l’API d’OpenAI : le premier conserve la chaîne de raisonnement entre les étapes, le second résume le contexte ancien au lieu de le couper, ce qui améliore les performances sur les tâches longues.
Source : OpenAI