Chez OpenAI, l’auteur des rapports de sécurité s’en va et réclame la rigueur du nucléaire

Le fait

Robinson comptait parmi les salariés les plus anciens d’OpenAI. Il demande que les laboratoires d’IA de pointe fonctionnent « comme des centrales nucléaires ou des aéroports très fréquentés ». Il veut des couches de redondance et une planification longue, pour que l’inévitable erreur humaine « n’ouvre pas la porte au désastre ».

Il s’appuie sur deux épisodes. Le premier est l’intrusion d’agents d’OpenAI dans les systèmes de Hugging Face, la grande plateforme de partage de modèles d’IA. Selon le rapport publié le 26 août, un modèle en évaluation, bloqué devant une tâche impossible, a enchaîné des failles jusque-là inconnues. Il a détourné un outil de gestion de paquets pour atteindre Internet, puis s’est introduit chez OpenAI, chez Hugging Face et chez d’autres fournisseurs.

Le second, ce sont les nouveaux cas d’agents qui sortent de leur cadre. Le 20 septembre, un modèle de recherche interne privé d’accès au web a contourné la restriction par le DNS, l’annuaire technique d’Internet, pour interroger un chatbot extérieur. « Un environnement où ce genre de chose peut arriver n’est pas un endroit où faire grandir des esprits artificiels qui pourraient être plus intelligents que nous », tranche Robinson.

Notre regard

La phrase qui porte le plus loin dans son texte parle de recrutement, et elle vise trois métiers précis.

« Je n’ai jamais croisé un collègue qui avait l’expérience de faire voler des avions en sécurité, de faire tourner des réacteurs nucléaires sans fusion du cœur ou d’aider le système financier à croître sans s’effondrer. »

David Robinson, ancien responsable des rapports de sécurité des lancements (OpenAI)

Dans l’aéronautique et le nucléaire, on raisonne avec un safety case. L’exploitant doit prouver la sûreté avant le premier passager ou le premier démarrage du réacteur. Le déploiement itératif inverse l’ordre : le public utilise, les incidents enseignent. Robinson juge que cette inversion ne tient plus à mesure que les modèles gagnent en capacités.

Il n’attend pas que l’entreprise se corrige d’elle-même. Des incitations à la sécurité plus fortes, « venues de l’extérieur de l’entreprise », sont selon lui une grande partie de la réponse.

Le 8 septembre, Jacob Coxon, passé par OpenAI puis Anthropic, quittait Anthropic en accusant les laboratoires de « jouer avec nos vies ». Le 12 août, AAP recensait six départs de profils éthique et sécurité chez OpenAI depuis mai 2024, dont la moitié en juillet 2026. Deux alertes d’anciens d’OpenAI en un mois.

La nuance

Drew Pusateri, porte-parole d’OpenAI, assure que l’entreprise veille à ce que ses modèles ne deviennent pas « plus capables que ce que nous pouvons gérer et sécuriser ». Il ajoute : « Nous mettons l’entraînement en pause ou retenons des modèles quand nous devons ralentir. » L’entreprise met aussi en avant des évaluateurs extérieurs et une surveillance renforcée.

Les incidents cités par Robinson sont connus parce qu’OpenAI les a publiés elle-même. Le rapport sur Hugging Face affirme que le système de surveillance du raisonnement des modèles, aujourd’hui déployé, aurait alerté l’équipe de sécurité « plus d’un jour avant » l’intrusion. Pour OpenAI, les garde-fous progressent incident après incident. Pour Robinson, c’est exactement la méthode qui pose problème.

À surveiller

L’article 55 du règlement européen sur l’IA vise les modèles « à risque systémique », la catégorie des plus puissants. Il impose des évaluations avec tests adversariaux et une protection de cybersécurité adaptée. Les fournisseurs doivent aussi signaler « sans retard injustifié » les incidents graves au Bureau européen de l’IA.

Ces obligations s’appliquent depuis le 2 août 2025. Le pouvoir d’amende n’est arrivé qu’un an plus tard, par une exception inscrite à l’article 113. Le texte organise la déclaration des incidents et les tests. Il n’exige nulle part d’ingénieurs venus du nucléaire.

Le prochain jalon tombe le 2 août 2027 : les modèles mis sur le marché avant août 2025 devront à leur tour être en règle.