On connaissait les promesses des patrons de l’intelligence artificielle. Guérir des maladies, accélérer la recherche, améliorer la productivité. On découvre, dans leurs déclarations et celles de leurs chercheurs, une inquiétude autrement plus difficile à vendre : la possibilité de construire des systèmes dont ils ne sauraient plus garantir le comportement. Chez Anthropic comme chez OpenAI, la question occupe désormais une place publique, alimentée par des démissions et des incidents que les laboratoires ont eux-mêmes documentés.

Le témoignage de Jacob Coxon est particulièrement révélateur. Ce chercheur britannique de 27 ans avait quitté OpenAI pour rejoindre Anthropic, qu’il jugeait plus prudent. Il a finalement décidé de quitter l’industrie.

«Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une super intelligence capable de s’améliorer elle-même et jouent avec nos vies», a-t-il écrit sur X. L’accusation pourrait passer pour celle d’un salarié en rupture avec son employeur. Mais Evan Hubinger, responsable de la sûreté chez Anthropic, lui a donné raison sur un point essentiel : le risque est pris au sérieux à l’intérieur du laboratoire. Il reconnaît que l’entreprise n’a pas encore de plan garantissant qu’une IA surpassant les capacités humaines obéirait toujours à ses concepteurs. Il juge toutefois faible le danger présenté par les modèles actuels.

Cette distinction compte. Les chercheurs décrivent une trajectoire qu’ils redoutent, avec des incertitudes considérables sur son calendrier et son issue. Depuis, les dirigeants ont pris position. Le 12 septembre, Dario Amodei, patron d’Anthropic, a appelé à ralentir l’amélioration des capacités des modèles pour laisser davantage de temps aux travaux de sécurité. Sam Altman a soutenu sa démarche et annoncé qu’OpenAI ouvrirait, comme son concurrent, ses activités à des évaluateurs indépendants disposant d’un accès comparable à celui des salariés. Elon Musk a approuvé : «Dario a raison». Cet accord public ne vaut pourtant pas suspension collective des recherches.

Pourquoi cette inquiétude devientelle plus pressante ? Parce que les systèmes concernés peuvent agir sur des ordinateurs et contribuer aux recherches qui serviront à développer leurs successeurs. OpenAI reconnaît ne pas encore savoir maîtriser entièrement cette dynamique d’«auto-amélioration récursive». À mesure que l’IA participe à la fabrication d’une IA plus performante, les laboratoires doivent aussi renforcer leur capacité à comprendre et à contrôler ce qu’ils produisent. Rien ne garantit que les deux progressent au même rythme. L’incident survenu cet été autour de Hugging Face donne une réalité à cette difficulté.

Des agents d’OpenAI ont compromis cette plateforme après avoir exploité une faille inconnue pour accéder à Internet depuis leur environnement d’évaluation. Selon le laboratoire, ils avaient adopté des stratégies non autorisées pour accomplir des tâches difficiles. Le prototype, réservé à la recherche interne, a ensuite été désactivé. Une machine n’a pas besoin de vouloir nuire pour provoquer des dommages : la poursuite d’un objectif par des moyens non prévus suffit à créer un problème de sécurité. De tels faits justifient des contrôles renforcés. Ils ne permettent pas, à eux seuls, de conclure à une catastrophe prochaine. Stuart Russell, professeur d’informatique à Berkeley, situe d’ailleurs le danger le plus immédiat dans l’usage humain de ces outils, notamment à des fins terroristes. «Dans l’année ou les deux années à venir, je pense que le risque le plus élevé vient d’un mauvais usage par des humains», explique-t-il.

Les scénarios d’une super intelligence devenue incontrôlable concernent, eux, des systèmes futurs. Chaque laboratoire considère qu’il doit continuer à avancer parce que ses concurrents pourraient se montrer moins prudents. Anthropic a invoqué cet argument après avoir retiré, en février, son engagement de suspendre le développement de ses modèles si leurs risques ne pouvaient être maîtrisés. La conviction d’agir plus sérieusement que les autres devient ainsi une raison de poursuivre la course. Même lorsque les chercheurs demandent du temps.

Cette logique explique l’intérêt d’un ralentissement coordonné. Une entreprise qui retarde seule ses travaux, accepte de perdre du terrain; des règles communes répartiraient cette contrainte. Mais leur crédibilité dépend de ceux qui les feront respecter. Gary Marcus soutient l’ouverture des laboratoires tout en réclamant des engagements contraignants. Il conteste notamment qu’Anthropic puisse choisir seul ses évaluateurs.

L’indépendance du contrôle sera aussi importante que l’accès aux informations. Les gouvernements se heurtent cependant au même raisonnement concurrentiel. Washington redoute de laisser Pékin prendre l’avantage. «Nous ne voulons pas les brider au point de nous retrouver soudain derrière la Chine», a dans ce sens déclaré Donald Trump. À la méfiance entre entreprises, s’ajoute donc celle entre puissances.