OpenAI crée un panel de mathématiciens après des résultats d’IA contestés

OpenAI a mis en place un panel indépendant de mathématiciens chargé de conseiller l’entreprise et d’autres sociétés d’intelligence artificielle sur la manière dont les recherches mathématiques devraient être évaluées, communiquées et publiées. Cette décision intervient après une série de résultats générés par l’IA très médiatisés qui ont terni la réputation de l’entreprise auprès des chercheurs, selon des informations rapportées par The Verge.

Baptisé Advisory Group on Mathematics and Artificial Intelligence, ou AGMAI, cet organe de neuf membres est hébergé par l’Institute for Advanced Study de Princeton, dans le New Jersey. L’institution est l’un des centres de recherche mathématique les plus prestigieux et a été associée par le passé à des personnalités telles qu’Albert Einstein, John von Neumann et J. Robert Oppenheimer.

Le panel compte des universitaires chevronnés issus d’universités telles que Stanford, Harvard, Oxford et Cambridge. Parmi ses membres figurent plusieurs lauréats de la médaille Fields et bénéficiaires de bourses MacArthur. Cette concentration de personnalités éminentes a conféré au groupe une crédibilité immédiate, mais elle a également suscité des inquiétudes quant au fait qu’il pourrait ne pas refléter l’expérience des mathématiciens extérieurs aux institutions les plus élitistes.

Un panel aux pouvoirs étendus, mais dont les modalités restent floues

OpenAI affirme qu’AGMAI pourra formuler des avis de sa propre initiative, s’exprimer publiquement sur l’effet de l’entreprise sur les mathématiques et publier ses recommandations. Le panel devrait également bénéficier d’un accès anticipé aux recherches d’OpenAI. Ses membres ne seront pas rémunérés par l’entreprise et le groupe pourra modifier lui-même sa composition.

Le travail envisagé couvre plusieurs domaines : évaluer l’importance des résultats émergents, coordonner leur publication, examiner les normes professionnelles et universitaires, ainsi qu’étudier la manière dont les systèmes d’IA pourraient aider la recherche et l’enseignement des mathématiques. OpenAI a déclaré que l’utilité du groupe dépendrait de la volonté de ses membres de contester l’entreprise plutôt que de simplement approuver ses projets.

Pourtant, le dispositif reste défini de manière assez vague. The Verge s’est entretenu avec des mathématiciens qui souhaitaient savoir de quelle autorité AGMAI disposerait, comment ses membres avaient été choisis et si OpenAI suivrait ses recommandations. Le site du panel fournit peu d’informations sur sa création. Il indique qu’OpenAI a d’abord approché certains mathématiciens au sujet de la création d’un conseil externe, avant que les discussions n’aboutissent à la création d’une organisation indépendante distincte et au recrutement de membres supplémentaires.

Martin Hairer, membre du groupe et professeur de mathématiques à l’Imperial College London et à l’EPFL, a répondu à ces préoccupations dans un billet de blog. Il a déclaré que tous les membres n’avaient pas été contactés par OpenAI et a soutenu que le groupe ainsi constitué était indépendant de l’entreprise et des autres grands laboratoires d’IA. Hormis les obligations habituelles de confidentialité, a-t-il précisé, les membres n’ont accepté aucune restriction concernant leurs déclarations publiques. L’Institute for Advanced Study fournit un soutien technique, tandis que les mathématiciens ne reçoivent aucune rémunération d’OpenAI.

Hairer a déclaré que l’IA avait déjà transformé la recherche mathématique et soulevé des questions difficiles sur l’attribution, la priorité et la question de savoir si les humains comprennent les idées produites avec l’aide de machines. Il a estimé que refuser tout dialogue avec les entreprises d’IA ne permettrait pas de résoudre ces problèmes. Dans le même temps, il a reconnu que les neuf mathématiciens ne pouvaient pas être considérés comme un échantillon représentatif de l’ensemble de la profession.

Des questions de représentation

La composition du panel est devenue l’une de ses principales vulnérabilités. Les mathématiques sont divisées en domaines très spécialisés, et un petit groupe pourrait ne pas disposer de l’expertise nécessaire pour évaluer des résultats dans l’ensemble de la discipline. Les chercheurs diffèrent également fortement dans leur perception de l’impact de l’IA sur leur travail, leur carrière et leurs institutions.

Francesco Fournier-Facio, futur professeur à Heriot-Watt University, a déclaré à The Verge qu’impliquer davantage de mathématiciens pourrait améliorer la situation, mais il s’est demandé si AGMAI représentait les personnes dont le travail est bouleversé par la quête de grandes avancées mathématiques menée par OpenAI. Il a décrit le groupe comme ressemblant à une « tour d’ivoire ».

Simon Machado, chercheur à l’ETH Zurich, s’est lui aussi demandé si des universitaires aussi récompensés pouvaient parler au nom de mathématiciens confrontés à des pressions professionnelles plus ordinaires. Il a déclaré que la création du panel était « entourée de mystère » et douté que ses membres soient les bons représentants pour traiter les questions politiques et sociales plus larges liées à l’IA.

La confiance déterminera si AGMAI peut faire davantage que fournir un nom prestigieux à la stratégie de communication d’OpenAI. Hairer a averti que les entreprises d’IA pourraient présenter les commentaires du panel d’une manière servant leurs efforts de relations publiques. Il a néanmoins estimé que la volonté de l’entreprise d’engager le dialogue devait susciter un effort visant à améliorer sa conduite, notamment après les critiques formulées sur la manière dont elle a annoncé et expliqué ses résultats récents.

Un important stock d’affirmations contestées

La première mission majeure du panel est déjà définie. OpenAI a déclaré qu’un modèle non publié ayant résolu le problème de Navier-Stokes du prix du millénaire avait également résolu plus de 100 problèmes ouverts de longue date dans plusieurs domaines des mathématiques. L’entreprise a précédemment indiqué qu’elle s’approchait de la résolution d’un autre problème du prix du millénaire.

AGMAI est donc appelé à contribuer à la gestion de ce qu’OpenAI décrit comme un vaste ensemble de résultats importants en attente de publication. L’enjeu n’est pas seulement de déterminer si ces affirmations sont exactes, mais aussi de savoir comment elles sont vérifiées, attribuées, expliquées et diffusées auprès des chercheurs.

Hairer a déclaré que le groupe était encore en train de décider quels conseils il formulerait. Ses membres recueillent des avis lors de discussions avec des collègues, au moyen d’un formulaire public de retours et dans le cadre d’échanges sur Proofs and Prompts, un blog consacré à la réaction des mathématiciens face à l’IA. Le succès du panel dépendra de sa capacité à élargir cette consultation au-delà de ses membres fondateurs prestigieux — et de la volonté d’OpenAI d’accepter un examen critique lorsque les conseils lui seront défavorables.