Andrej Karpathy, cofondateur d’OpenAI passé chez Anthropic depuis mai 2026, a soumis Claude Opus 5 à un exercice inhabituel : transformer le paragraphe d’ouverture du Seigneur des Anneaux en une scène 3D navigable, dans le but de trouver un successeur au célèbre « test du pélican ».
Une scène 3D générée en deux heures
Claude Opus 5 a produit 5 500 lignes de code pour construire cette scène, rendue avec Three.js, la bibliothèque graphique 3D pour navigateurs. L’opération a duré environ deux heures et mobilisé un budget d’un million de jetons, soit approximativement 10 dollars.
Le test du pélican touche ses limites
Le test du pélican, imaginé par le développeur Simon Willison, consiste à demander à un modèle de dessiner un pélican à vélo en SVG — un exercice devenu une référence informelle pour comparer les modèles entre eux. Karpathy estime que ce test approche désormais de sa limite utile, les modèles récents le réussissant trop facilement pour rester discriminant. Il rappelle qu’un exercice similaire existait déjà en 2023, lorsque Microsoft avait demandé à GPT-4 de dessiner une licorne en TikZ pour illustrer son raisonnement spatial.
Une limite révélatrice
L’exercice a aussi mis en évidence une contrainte propre aux modèles actuels : Claude Opus 5 ne pouvait pas visualiser directement le rendu vidéo de sa propre scène et a dû se fier à des captures d’écran statiques pour corriger son code, ce qui a provoqué plusieurs erreurs de positionnement dans la scène finale.
Pourquoi ce genre de test compte
Ces « vibe tests » informels jouent un rôle réel dans la manière dont la communauté technique évalue les nouveaux modèles au quotidien, en complément des benchmarks chiffrés classiques. Ils sont rapides à reproduire, faciles à comparer visuellement d’un modèle à l’autre, et permettent de repérer des lacunes que les scores de benchmark ne montrent pas toujours, comme la cohérence spatiale ou la capacité à s’auto-corriger sans retour visuel direct.
Source : The Decoder
Qu’est-ce que le test du pélican ?
Un test informel imaginé par Simon Willison, qui consiste à demander à un modèle de dessiner un pélican à vélo en SVG pour comparer les modèles entre eux.
Qu’a demandé Andrej Karpathy à Claude Opus 5 ?
De transformer le paragraphe d’ouverture du Seigneur des Anneaux en une scène 3D navigable, générée en Three.js.
Quelle limite ce test a-t-il révélée ?
Claude Opus 5 ne pouvait pas voir directement le rendu vidéo de sa scène et devait se baser sur des captures d’écran, ce qui a entraîné des erreurs de positionnement.