L’IA nous mangera-t-elle ?
Des patrons de la « Tech » appellent à « temporiser » le développement de l’IA
Suite à des incidents graves de sécurité provoqués par la perte de contrôle d’agents d’intelligence artificielle (IA) en cours de test, plusieurs patrons des géants états-uniens du secteur se sont prononcés pour une pause dans les recherches et pour la création de garde-fous, alors que la régulation par les États demeure très insuffisante.
L’intelligence artificielle (IA) peut-elle engendrer une apocalypse numérique qui précipiterait la fin de l’humanité ?
Cette crainte, qui était l’an dernier minoritaire parmi les experts du secteur, est devenue très concrète suite à des incidents graves de sécurité survenus ces derniers mois, au point de pousser les géants américains de l’IA à appeler à une pause dans les recherches et à la mise en place de nouveaux mécanismes de régulation.
Le 12 septembre dernier, Dario Amodei, patron d’Anthropic, l’entreprise qui a créé l’IA Claude, a appelé à « temporiser » l’amélioration de l’IA « pour que la prévention des risques soit en mesure de suivre le rythme ». Il « redoute que d’ici six à douze mois, un groupe [d’agents IA] soit capable de prendre le contrôle de l’intégralité d’internet », ce qui « pourrait entraîner des centaines de milliards de dollars de dégâts ».
Fait rare dans ce secteur très concurrentiel, le patron d’OpenAI (ChatGPT), Sam Altman, et celui de xAI (Grok), Elon Musk, ont posté quelques heures plus tard des messages indiquant qu’ils partageaient cette analyse.
Le 13 septembre dernier, Sam Altman a annoncé dans une interview au magazine Fortune que l’introduction en bourse d’OpenAI était repoussée et n’aurait pas lieu cette année comme prévu, notamment en raison de « tout ce qui se passe en matière de sécurité ».
« Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing. » — Jacob Coxon
Jacob Coxon, qui avait quitté OpenAI pour Anthropic parce qu’il jugeait la seconde plus prudente dans ses recherches, estime aujourd’hui qu’« aucune des deux entreprises n’agit de manière responsable ». « Elles foncent tout droit vers une super intelligence capable de s’améliorer elle-même et jouent avec nos vies, a-t-il écrit sur son compte X. Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing. »
Le feu aux poudres
Cette crainte de plus en plus répandue d’un risque existentiel pour l’humanité vient des progrès fulgurants de l’IA dite « agentique ».
Contrairement aux robots conversationnels (chatbots) comme ChatGPT, qui se contentent de générer du texte, les « agents » IA sont des programmes capables de percevoir leur environnement, de prendre des décisions et d’exécuter des actions pour atteindre l’objectif qui leur a été fixé.
L’incident qui a mis le feu aux poudres est le piratage, en juillet dernier, de la plateforme d’IA Hugging Face par plusieurs centaines d’agents expérimentaux d’OpenAI, qui étaient en cours de test au sein des serveurs de l’entreprise et confinés dans une « sandbox », une prison virtuelle qui les empêchait théoriquement d’accéder à internet.
L’analyse de l’incident a mis en lumière des comportements inédits
Les agents sont parvenus à collaborer entre eux dans des « forums » virtuels. Parce qu’ils pensaient que le système évaluant leur réussite à l’exercice était hébergé sur Hugging Face, ils ont décidé de pirater la plateforme. Ils sont parvenus à casser les murs de la « sandbox » pour accéder à internet, mais aussi à des serveurs d’OpenAI dont l’accès leur était interdit.
Les agents ont enfin adopté un comportement qui ressemble à de la « triche » humaine, en tentant de dissimuler qu’ils avaient contourné les limitations qui leur avaient été fixées par l’entreprise.
Suite à cet incident, plus de 1 400 employé·es du secteur ont signé en juillet une lettre ouverte réclamant une régulation plus stricte.
Dans la foulée, dans un audit réalisé suite au piratage de Hugging Face, Anthropic a révélé avoir lui aussi repéré des incidents lors de tests de son IA Claude, qui est parvenue à accéder à internet sans autorisation et à s’introduire dans les systèmes informatiques de trois organisations différentes.
En juin dernier, Anthropic avait, suite à une mise en demeure du gouvernement américain, suspendu en catastrophe le lancement de son nouveau modèle d’IA Mythos 5, spécialisé dans la sécurité informatique. Mythos 5 est doté d’une capacité sans précédent à détecter les vulnérabilités, avec le risque qu’il puisse pirater n’importe quelle organisation.
Anthropic a finalement restreint l’accès à Mythos 5 à une poignée d’organisations à des fins de recherche, et a fini par lancer en septembre une version 5.1, censée être dotée de garde-fous empêchant son utilisation à des fins offensives.
Usages malveillants
Au-delà du risque posé par des « agents » devenus hors de contrôle, plusieurs incidents récents ont montré que les géants de l’IA peinent à empêcher l’usage malveillant de leurs modèles par des humains. Le 10 septembre dernier, Anthropic a annoncé qu’un hackeur parlant français était parvenu à utiliser Claude pour pirater avec succès quatorze organisations liées à l’extrême droite, dont le média identitaire Frontières.
Anthropic a également indiqué avoir récemment déjoué des tentatives particulièrement graves d’usage de Claude à des fins de piratage et de recherches visant à fabriquer des armes biologiques. « Les cas que nous présentons ici ne relèvent pas d’une utilisation abusive classique, mais illustrent plutôt les menaces les plus importantes et inédites que nous ayons identifiées à ce jour », a déclaré l’entreprise dans un rapport de sécurité.
Comment empêcher qu’une véritable catastrophe se produise à l’avenir ? Outre son appel à « ralentir », le patron d’Anthropic, Dario Amodei, a proposé que les sociétés d’IA se dotent d’observateurs indépendants dotés d’un accès aux informations les plus sensibles, afin qu’ils puissent enquêter sur les futurs incidents et vérifier que les entreprises encadrent de façon efficace leurs nouveaux modèles. Il a promis de mettre en place un tel dispositif chez Anthropic, et Sam Altman a indiqué qu’OpenAI le ferait aussi.
Mais on peut douter de l’efficacité d’une telle autorégulation, étant donné le contexte de surenchère technologique et financière entre les entreprises du secteur, qui redoutent avant tout d’être mises hors course par leurs concurrents si elles appuient trop fort sur le frein.
Pour une régulation démocratique et sociale de l’IA
Dans sa contribution sur l’IA, la CGT consultable ici (https://www.cgt.fr/sites/default/files/2025-02/20250206_IA_dossier_SR_V5.pdf) souligne l'importance d'une régulation démocratique de l'IA.
La CGT exige des garanties sur la protection des droits des travailleuses et des travailleurs, la transparence des algorithmes et un contrôle public de la production d'IA. Elle appelle à une coopération internationale pour que l'IA serve l'intérêt général, et non les intérêts privés des grandes entreprises numériques, tout en garantissant la souveraineté et le bien-être des citoyennes et des citoyens.