Les tests qui notent l’IA couvrent mal 90 % du temps de travail américain

Le chiffre

La société américaine Mercor fabrique des tests pour les laboratoires d’intelligence artificielle. Sa carte des benchmarks de l’économie américaine, relayée le 16 octobre 2026 sur le forum Hacker News, aboutit à un constat gênant pour son propre secteur. Les tâches qui occupent 90 % des heures travaillées aux États-Unis sont peu ou pas couvertes par ces épreuves.

Un IA sait faire, à la manière d’un examen standardisé. »>benchmark est un examen pour modèle d’IA : une série de consignes écrites, les prompts, et une grille de notation. Mercor en a confronté 29, retenus pour leur qualité et leur pertinence économique, aux 18 797 tâches du répertoire O*NET, la nomenclature tenue par le ministère américain du Travail. Une tâche compte comme couverte dès que cinq consignes au moins s’y rapportent. Un modèle de langage fait le rattachement, contrôlé par des experts sur une partie des tests.

Seules 924 tâches franchissent ce seuil, moins d’une sur vingt. Sur 923 professions, 208 ont au moins une tâche couverte. Six familles de métiers sur 22 n’en ont aucune.

Seules 15 des 382 professions manuelles et de service du répertoire O*NET, soit 3,9 %, ont au moins une tâche couverte par les tests d’IA retenus par Mercor. Ces dix familles vont du bâtiment au transport, des aides-soignants aux agents d’entretien et de sécurité. Les six familles sans aucune profession couverte sont toutes parmi elles.

Côté bureaux, l’informatique et les mathématiques arrivent en tête (29 professions couvertes sur 36). En droit (5 sur 7), les tests couvrent l’avocat mais à peine les secrétaires juridiques et les greffiers : « La longue traîne des emplois intellectuels plus modestes, à revenu moyen, paraît sous-couverte », écrit Mercor. La santé et l’école restent sous les 15 %.

Les scores qu’affichent les nouveaux modèles, comme ceux de Gemini 4 Argon, portent donc sur un îlot de métiers. Une tâche absente des tests n’est pas à l’abri : elle n’a pas été mesurée.

Pourquoi les tests d’IA se concentrent-ils sur quelques métiers ?

Première cause : les tâches jugées « exposées » aux modèles de langage ont environ six fois plus de chances de figurer dans un test que les tâches « non exposées ». Ce classement vient d’une étude de chercheurs d’OpenAI et de l’université de Pennsylvanie (2023), selon laquelle 80 % des actifs américains pourraient voir au moins un dixième de leurs tâches touchées.

Deuxième cause, l’argent : les tâches des métiers qui pèsent lourd dans la masse salariale sont nettement surreprésentées, même à exposition égale. Celles que leur métier juge les plus importantes ont six à dix fois plus de chances d’être testées que les moins importantes. Enfin, un test écrit atteint mal un geste fait sur un chantier ou au chevet d’un patient.

Mercor insiste : ces résultats sont « provisoires ». Sa liste de tests est un échantillon incomplet, plafonné par famille, ce qui sous-estime la couverture des domaines les plus testés, comme le développement logiciel. Mercor, qui vend ce type d’épreuves aux laboratoires, y dessine aussi son marché.

En France, quels métiers tombent dans l’angle mort ?

France Stratégie et la Dares ont publié le 10 mars 2022 leur projection des métiers en 2030 : près de 800 000 postes à pourvoir chaque année. Parmi les quinze métiers qui recruteront le plus figurent les agents d’entretien, les enseignants, les conducteurs, les vendeurs, les aides à domicile et les aides-soignants, mais aussi les ingénieurs de l’informatique.

Dans la nomenclature américaine, quatre des six premiers métiers cités relèvent des familles manuelles et de service. Une bonne part des embauches françaises d’ici 2030 se fera donc dans des métiers dont les tests d’IA ne disent presque rien, à commencer par les aides-soignants et les agents d’entretien.

Article créé en collaboration avec l’IA.