10 dollars et 2 heures : l’IA a dépassé le test du pélican à vélo

Ce que ça change pour vous : la façon de juger une intelligence artificielle vient de tourner une page. Le test le plus loufoque du secteur, celui qui consiste à demander à un modèle de dessiner un pélican à vélo, part à la retraite. Andrej Karpathy, ancien directeur de l’IA chez Tesla et cofondateur d’OpenAI, estime qu’on quitte ce territoire. Concrètement, les IA sont devenues trop douées pour un exercice aussi simple.

Petit retour en arrière. Depuis 2024, le développeur Simon Willison éprouve chaque nouveau modèle avec une consigne unique et absurde : « générer un SVG d’un pélican à vélo ». Un SVG, c’est une image décrite en code, ligne par ligne. Le modèle ne peint rien : il écrit les instructions géométriques d’un pélican perché sur un vélo, sans jamais voir le résultat pendant qu’il travaille. L’exercice est un piège presque parfait, car un pélican ne peut pas pédaler et un rendu crédible exige de comprendre à la fois l’anatomie de l’oiseau, avec son bec et sa poche, et la mécanique d’un cadre de vélo.

Un pélican à vélo, c’est quoi au juste ?

C’est un benchmark, autrement dit une épreuve étalon qui sert à comparer les modèles entre eux. Willison a documenté le test du pélican dans plus de cent billets, et en a même tiré une conférence, « The last six months in LLMs, illustrated by pelicans on bicycles ». Il tient aussi un dépôt sur GitHub où le même prompt passe entre les mains de GPT, Claude, Gemini ou Llama. Chaque modèle reçoit la consigne identique et rend son pélican. La force du test tient à sa gratuité : personne n’entraîne un modèle pour dessiner des oiseaux cyclistes, donc le résultat révèle une capacité réelle, pas une réponse apprise par cœur.

Le problème, c’est justement le succès. À force de progresser, les modèles récents produisent des pélicans convaincants. Quand tout le monde réussit l’épreuve, elle ne trie plus rien.

Le nouveau test : Le Seigneur des anneaux en 3D

Pour prendre le relais, Karpathy a imaginé un exercice d’un autre calibre. Il a donné à Opus 5, le dernier modèle d’Anthropic, le premier paragraphe du Seigneur des anneaux, un budget d’un million de jetons (environ 10 dollars) et une consigne : en faire un rendu 3D avec la bibliothèque three.js. Le modèle a travaillé seul pendant près de deux heures et produit 5 500 lignes de code qui reconstituent la scène. Le résultat est, de son propre aveu, « janky but fun », brinquebalant mais amusant. Plusieurs comptes rendus de l’expérience confirment le détail : l’IA a placé des décors et animé une histoire à partir de trois phrases.

Karpathy résume l’intérêt de la formule : une IA possède « toute l’endurance et la patience du monde ». Elle peut mener un chantier que personne n’entreprendrait à la main, faute de temps et de motivation.

Ce que ça dit des IA de 2026

Un benchmark périme dès qu’il devient trop facile, ou dès que les modèles finissent par « apprendre » la réponse pendant leur entraînement. C’est le talon d’Achille de l’évaluation : plus un test circule, plus il risque d’avoir déjà été vu, et moins il mesure quelque chose. D’où la fuite en avant vers des épreuves plus lourdes, où l’IA ne répond plus à une question mais mène une tâche de bout en bout, comme un agent autonome.

La limite reste entière. Un rendu « brinquebalant » n’est pas un logiciel fini, et relire 5 500 lignes de code demande encore un œil humain. Passer du pélican au Seigneur des anneaux mesure l’ambition des modèles, pas leur fiabilité. La vraie question de 2026 n’est plus « sait-elle dessiner un oiseau », mais « peut-on lui confier un travail sans se faire avoir », un doute que rappellent les conseils biaisés encore produits par ces systèmes. Le pélican, lui, aura bien mérité sa retraite.

Article créé en collaboration avec l’IA.