C’est une démission qui fait beaucoup de bruit dans la Silicon Valley. Jacob Coxon, chercheur britannique de 27 ans ayant travaillé chez OpenAI puis Anthropic, vient de quitter l’industrie de l’intelligence artificielle. Son avertissement est spectaculaire : selon lui, les entreprises qui développent les modèles les plus puissants foncent vers une superintelligence capable de s’améliorer elle-même sans avoir résolu le problème de son contrôle. Plus inquiétant encore, un responsable de la sûreté d’Anthropic lui donne publiquement raison et estime personnellement à « plus de 10 % » le risque que l’IA provoque l’extinction humaine au cours de la prochaine décennie.
Jacob Coxon démissionne d’Anthropic à seulement 27 ans
Jacob Coxon connaît particulièrement bien les deux entreprises qu’il accuse.
Pendant environ trois ans, le chercheur a travaillé sur le pré-entraînement des modèles d’intelligence artificielle, d’abord chez OpenAI puis, plus récemment, chez son concurrent Anthropic.
Mardi 8 septembre, il a annoncé sa démission.
Et son message ne laisse guère de place à l’ambiguïté.
Selon lui, ni OpenAI ni Anthropic n’agissent actuellement de manière suffisamment responsable.
Il accuse les deux laboratoires de participer à une course vers une « superintelligence capable de s’améliorer elle-même », tout en « jouant avec nos vies ».
Coxon estime qu’Anthropic prend les dangers davantage au sérieux qu’OpenAI, mais que la logique de compétition empêche malgré tout l’entreprise de ralentir suffisamment.
« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer »
C’est surtout une phrase qui a provoqué une onde de choc.
Jacob Coxon affirme que les craintes exprimées à l’intérieur des laboratoires sont beaucoup plus fortes que ce que le grand public pourrait imaginer.
« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing. »
Il assure que certains dirigeants et chercheurs emploient publiquement des formulations beaucoup plus prudentes, alors qu’ils exprimeraient en privé des inquiétudes extrêmement fortes.
Coxon redoute en particulier l’arrivée de systèmes dépassant les capacités humaines et susceptibles, selon lui, de pouvoir pirater des systèmes informatiques, accélérer massivement la recherche scientifique et acquérir davantage d’autonomie et de ressources.
Un responsable d’Anthropic lui donne raison
L’histoire aurait pu s’arrêter au témoignage d’un chercheur démissionnaire.
Mais Evan Hubinger, qui dirige les travaux d’Alignment Science chez Anthropic, lui a publiquement répondu.
Et sa réaction est probablement encore plus spectaculaire.
Il affirme que Coxon a raison sur un point essentiel : certains spécialistes de l’entreprise considèrent réellement comme possible qu’une IA future puisse provoquer l’extinction humaine.
Hubinger chiffre même sa propre estimation :
il considère personnellement que ce risque dépasse 10 % au cours des dix prochaines années.
Il ne s’agit cependant ni d’une prévision scientifique consensuelle, ni d’une estimation officielle d’Anthropic.
C’est l’évaluation personnelle d’un chercheur spécialisé dans la sûreté des systèmes d’IA.
« Nous n’avons pas encore de plan »
La suite de son message est tout aussi importante.
Hubinger estime qu’Anthropic fait « de son mieux » pour réduire les risques.
Mais il reconnaît que l’entreprise ne dispose pas encore d’une solution permettant de garantir l’alignement d’une éventuelle superintelligence avec les intentions humaines, et qu’elle n’est pas clairement en voie de résoudre ce problème.
L’« alignement » constitue l’un des grands domaines de recherche en sécurité de l’IA.
L’objectif est de s’assurer qu’un système extrêmement puissant continue à poursuivre les objectifs voulus par les humains et ne développe pas de stratégies dangereuses ou incompatibles avec leurs intentions.
Anthropic travaille activement sur ces questions. Ses chercheurs ont notamment documenté dans des expériences contrôlées des comportements problématiques de certains modèles placés dans des scénarios artificiels, avant de tester différentes méthodes permettant de les réduire.
Attention : Hubinger dit que les IA actuelles présentent un risque faible
Cette nuance est fondamentale.
Evan Hubinger ne dit pas que ChatGPT ou Claude ont actuellement 10 % de chances de tuer l’humanité.
Il a même publié un second message afin de préciser exactement l’inverse :
« Je pense que le risque provenant des modèles actuels est faible. »
Ce qui l’inquiète est une évolution future : l’apparition d’une superintelligence issue d’un processus d’auto-amélioration récursive.
Dans ce scénario encore hypothétique, une IA suffisamment performante contribuerait à développer une IA encore meilleure, qui pourrait à son tour accélérer la conception de sa génération suivante.
C’est cette potentielle accélération que Coxon et Hubinger considèrent comme dangereuse.
Anthropic reconnaît elle-même travailler sur des risques d’alignement
Le débat n’est pas complètement extérieur aux entreprises concernées.
Anthropic publie des recherches consacrées précisément aux comportements indésirables et aux risques d’alignement.
Dans un rapport précédent, l’entreprise concluait que le risque de voir ses modèles alors déployés entreprendre de manière autonome des actions contribuant substantiellement à une catastrophe était « très faible », tout en le considérant comme non totalement nul.
Plus récemment, Anthropic expliquait également que l’automatisation de la recherche sur l’alignement devenait de plus en plus importante à mesure que l’IA commence à contribuer elle-même au développement de l’IA.
Il existe donc une différence importante entre reconnaître un risque futur sérieux et affirmer qu’une catastrophe est inévitable.
Le vrai sujet
Le plus frappant dans cette affaire n’est finalement pas le chiffre de 10 %.
Celui-ci reste une estimation subjective d’Evan Hubinger et ne peut pas être présenté comme une mesure scientifique du risque réel d’extinction.
Le vrai sujet est plutôt l’écart entre la gravité du risque envisagé par certains chercheurs et la vitesse à laquelle les entreprises continuent de développer leurs systèmes.
Jacob Coxon considère qu’OpenAI sous-estime le problème et qu’Anthropic, malgré une meilleure compréhension des dangers selon lui, reste prisonnière de la compétition : ralentir seule pourrait permettre à un concurrent moins prudent d’arriver le premier.
C’est le paradoxe central de la course actuelle à l’IA.
Chaque entreprise peut considérer qu’un ralentissement collectif serait souhaitable tout en jugeant dangereux de ralentir unilatéralement.
Et le débat dépasse désormais les chercheurs.
Aux États-Unis, des élus ont commencé à proposer des mécanismes permettant de suspendre le développement de systèmes superintelligents jusqu’à la mise en place d’un cadre de contrôle. Dans le même temps, des acteurs majeurs du secteur appellent eux-mêmes à davantage de coordination sur la sécurité.
La démission de Jacob Coxon ne prouve donc évidemment pas que l’IA va tuer l’humanité avant 2030.
Elle révèle quelque chose de différent, mais néanmoins remarquable : des chercheurs directement impliqués dans la construction des systèmes d’IA les plus avancés considèrent suffisamment crédible le scénario d’une perte de contrôle pour alerter publiquement — et, dans le cas de Coxon, quitter entièrement cette course.
Les 3 choses à retenir
- Jacob Coxon, 27 ans, a démissionné d’Anthropic le 8 septembre après avoir également travaillé chez OpenAI, accusant les deux entreprises de « jouer avec nos vies » dans leur course vers une IA capable de s’améliorer elle-même.
- Evan Hubinger, responsable de l’Alignment Science chez Anthropic, estime personnellement à plus de 10 % le risque qu’une IA future provoque l’extinction humaine dans les dix prochaines années, tout en reconnaissant qu’Anthropic ne dispose pas encore d’un plan permettant de résoudre l’alignement d’une superintelligence.
- Ce chiffre ne concerne pas les modèles actuels. Hubinger précise explicitement qu’il considère leur risque comme faible et que sa crainte porte sur une hypothétique superintelligence capable d’auto-amélioration récursive.
