Pourquoi les armes biologiques conçues avec l’aide de l’IA inquiètent les chercheurs

Un rapport d’Anthropic reconnaît que des personnes ont utilisé ses modèles d’intelligence artificielle pour étudier les moyens de rendre le chikungunya plus transmissible, d’accroître la menace posée par la grippe aviaire et de cartographier des toxines liées au venin. Cette révélation ravive les inquiétudes quant à la possibilité que les systèmes d’IA aident à développer des armes biologiques, alors même que les scientifiques sont profondément divisés sur les capacités actuelles de cette technologie.

MIT Technology Review rapporte que les avertissements venant du secteur de l’IA se font de plus en plus directs. Le directeur général d’Anthropic, Dario Amodei, a récemment déclaré que cette technologie comportait de graves risques et a plaidé pour un ralentissement de son développement. Le directeur général d’OpenAI, Sam Altman, a répondu que l’IA de pointe devait progresser à un rythme mesuré.

Le débat s’est intensifié après l’annonce du départ d’Anthropic par le chercheur en IA Jacob Coxon. Coxon, qui avait également travaillé chez OpenAI, a déclaré qu’aucune des deux entreprises n’agissait de manière responsable face aux conséquences possibles. Evan Hubinger, employé d’Anthropic, a publiquement soutenu ce point de vue et déclaré qu’il estimait personnellement à plus de 10 % la probabilité que l’IA tue toute l’humanité au cours de la prochaine décennie.

Comment l’IA pourrait abaisser les barrières

L’inquiétude ne se limite pas aux machines autonomes ou aux scénarios de science-fiction. Les chercheurs craignent que l’IA puisse contribuer à la découverte, à la conception ou à la dissémination d’agents biologiques et chimiques. Parmi les menaces potentielles figureraient un virus qui nuirait aux personnes présentant certains traits génétiques, un champignon capable de détruire les récoltes ou un poison indétectable introduit dans un réseau d’approvisionnement en eau.

Une expérience menée en 2022 a illustré une voie possible vers un tel détournement. Des scientifiques de Collaborations Pharmaceuticals avaient conçu un système d’IA pour rechercher des molécules susceptibles de devenir des médicaments. Après en avoir modifié l’objectif, le système a produit 40 000 molécules en moins de six heures qui pourraient potentiellement être utilisées comme agents de guerre chimique. Certaines ont été jugées plus toxiques que des agents neurotoxiques connus.

Ce résultat a alarmé David Magnus, professeur à Stanford qui étudie depuis la fin des années 1990 le détournement de la recherche médicale et de la biotechnologie. Il a déclaré à MIT Technology Review que l’expérience était profondément inquiétante, d’autant que les capacités de l’IA se sont développées depuis.

Les modèles de langage modernes peuvent répondre à des questions dans un large éventail de domaines scientifiques. Dunja Sabra, chercheuse en biosécurité à l’université de Hambourg, a déclaré que ces systèmes s’appuyaient sur un immense corpus de connaissances scientifiques accumulées. Ils peuvent également fournir des conseils expérimentaux et des vidéos pédagogiques, ce qui pourrait aider les utilisateurs à passer d’informations générales à des travaux pratiques en laboratoire.

Parallèlement, l’édition génétique et la biologie synthétique sont devenues plus accessibles. Le développement de la biologie amateur a permis à certaines personnes d’établir des laboratoires en dehors des institutions de recherche traditionnelles. Sabra craint qu’une personne déterminée ne puisse un jour combiner l’aide de l’IA avec ces outils et parvenir à créer quelque chose de dangereux.

Les protections existantes ont leurs limites

Plusieurs garde-fous sont déjà utilisés pour réduire les risques. Les entreprises qui fournissent de l’ADN contrôlent généralement les commandes afin de repérer les séquences associées à des organismes dangereux. Les chercheurs peuvent également soumettre les travaux envisagés à des examens contradictoires, en demandant à des experts indépendants d’identifier les façons dont ils pourraient être détournés, puis en examinant les mesures permettant de réduire ces risques. Les développeurs d’IA ont modifié leurs systèmes afin de bloquer les demandes d’informations susceptibles de permettre des expériences dangereuses.

Aucune de ces mesures ne garantit son efficacité. Magnus a décrit une compétition permanente, dans laquelle les défenseurs améliorent la surveillance et le filtrage tandis que les utilisateurs malveillants cherchent des moyens de les contourner. Il estime qu’il faudra peut-être un jour recourir à l’IA pour détecter et limiter les usages nocifs de l’IA elle-même.

Kevin Esvelt, biologiste au MIT connu pour ses travaux sur la technologie des forçages génétiques et sur les méthodes permettant de la contenir, a renforcé ces inquiétudes dans une publication sur X. Il a déclaré qu’un grand modèle de langage avait révélé un type d’arme biologique dont il n’avait pas auparavant reconnu la possibilité, et a appelé à adopter une approche prudente.

Le rapport d’Anthropic montre que les tentatives visant à explorer des capacités biologiques dangereuses ne sont pas purement hypothétiques. Il n’établit toutefois pas que les systèmes d’IA actuels sont capables de concevoir et de déployer de manière autonome un agent pathogène efficace. Cette distinction est au cœur du désaccord entre les experts.

Les scientifiques divergent sur l’ampleur de la menace

Lors d’un point presse, des biologistes de l’Imperial College London ont soutenu que les outils d’IA existants étaient encore trop limités pour mener à bien le développement d’une arme biologique. La création et la mise à l’épreuve d’un nouvel agent pathogène nécessitent toujours un travail difficile et long effectué par des personnes en laboratoire, ont-ils déclaré. Certains chercheurs estiment que les garde-fous actuels sont suffisants pour les risques qui peuvent être concrètement maîtrisés aujourd’hui.

Wendy Barclay, professeure de maladies infectieuses à l’Imperial, a également souligné une source plus immédiate de danger pandémique : les agents pathogènes qui circulent déjà dans le monde naturel. La grippe aviaire H5N1 a tué des millions d’oiseaux et s’est propagée parmi les bovins laitiers aux États-Unis. Le virus a également été détecté le mois dernier chez des visons captifs dans une ferme de l’Utah.

Sabra adopte une perspective à plus long terme, se projetant de cinq à dix ans plutôt que de se limiter aux capacités actuelles. Elle estime que les gouvernements devraient renforcer les systèmes de santé, préparer des traitements contre les toxines connues et maintenir des stocks de médicaments. Son message est simple : « Nous devons être prêts. »