OpenAI cria painel de matemáticos após resultados de IA contestados

A OpenAI criou um painel independente de matemáticos para aconselhar a empresa e outras companhias de inteligência artificial sobre como a pesquisa matemática deve ser avaliada, comunicada e divulgada. A iniciativa ocorre após uma série de resultados de alto perfil gerados por IA que prejudicaram a reputação da empresa entre pesquisadores, segundo reportagem do The Verge.

Chamado de Grupo Consultivo sobre Matemática e Inteligência Artificial, ou AGMAI, o órgão, composto por nove membros, é sediado no Institute for Advanced Study, em Princeton, Nova Jersey. A instituição é um dos centros mais proeminentes de pesquisa matemática e esteve anteriormente associada a figuras como Albert Einstein, John von Neumann e J. Robert Oppenheimer.

O painel inclui acadêmicos seniores de universidades como Stanford, Harvard, Oxford e Cambridge. Entre seus membros estão vários vencedores da Medalha Fields e ganhadores de bolsas MacArthur. Essa concentração de distinções conferiu credibilidade imediata ao grupo, mas também provocou preocupações de que ele talvez não reflita as experiências de matemáticos fora das instituições mais elitizadas.

Um painel com amplos poderes, mas poucos detalhes definidos

A OpenAI afirma que o AGMAI poderá oferecer aconselhamento sem ser solicitado, comentar publicamente o efeito da empresa sobre a matemática e publicar suas recomendações. Também se espera que o painel tenha acesso antecipado às pesquisas da OpenAI. Seus membros não serão pagos pela empresa, e o grupo poderá alterar sua própria composição.

O trabalho proposto abrange várias áreas: avaliar a importância de resultados emergentes, coordenar sua publicação, considerar padrões profissionais e acadêmicos e examinar como os sistemas de IA poderiam auxiliar a pesquisa e o ensino da matemática. A OpenAI afirmou que a utilidade do grupo depende da disposição de seus membros para contestar a empresa, em vez de simplesmente endossar seus planos.

Ainda assim, o acordo permanece pouco definido. O The Verge conversou com matemáticos que queriam saber quanta autoridade o AGMAI terá, como seus membros foram escolhidos e se a OpenAI seguirá suas recomendações. O site do painel oferece poucas informações sobre sua formação. Diz que a OpenAI inicialmente procurou alguns matemáticos para criar um conselho externo, após o que as discussões levaram à criação de uma organização independente separada e ao recrutamento de membros adicionais.

Martin Hairer, membro do grupo e professor de matemática no Imperial College London e na EPFL, abordou essas preocupações em uma publicação de blog. Ele disse que nem todos os membros haviam sido contatados pela OpenAI e afirmou que o grupo resultante é independente da empresa e de outros grandes laboratórios de IA. Além das obrigações usuais de confidencialidade, disse ele, os membros não aceitaram restrições a suas declarações públicas. O Institute for Advanced Study está oferecendo suporte técnico, enquanto os matemáticos não recebem remuneração da OpenAI.

Hairer afirmou que a IA já transformou a pesquisa matemática e criou questões difíceis sobre crédito, prioridade e sobre se os seres humanos compreendem ideias produzidas com auxílio de máquinas. Ele argumentou que se recusar a interagir com empresas de IA não resolveria esses problemas. Ao mesmo tempo, reconheceu que os nove matemáticos não podem ser tratados como uma amostra representativa de toda a profissão.

Questões sobre representação

A composição do painel tornou-se uma de suas principais vulnerabilidades. A matemática é dividida em campos altamente especializados, e um grupo pequeno talvez não tenha a expertise necessária para avaliar resultados em toda a disciplina. Os pesquisadores também divergem bastante sobre como a IA está afetando seu trabalho, suas carreiras e suas instituições.

Francesco Fournier-Facio, futuro professor da Heriot-Watt University, disse ao The Verge que envolver mais matemáticos poderia melhorar a situação, mas questionou se o AGMAI refletia as pessoas cujo trabalho está sendo desestruturado pela busca da OpenAI por grandes conquistas matemáticas. Ele descreveu o grupo como semelhante a uma “torre de marfim”.

Simon Machado, pesquisador da ETH Zurich, também questionou se acadêmicos altamente condecorados poderiam falar em nome de matemáticos que enfrentam pressões profissionais mais comuns. Ele disse que a criação do painel estava “envolta em mistério” e expressou dúvidas de que seus membros fossem os representantes adequados para questões políticas e sociais mais amplas sobre IA.

A confiança determinará se o AGMAI poderá fazer mais do que fornecer um nome respeitado à estratégia de comunicação da OpenAI. Hairer alertou que empresas de IA poderiam apresentar os comentários do painel de maneiras que beneficiassem seus esforços de relações públicas. Ainda assim, argumentou que a disposição da empresa para se envolver deveria ser acompanhada de um esforço para melhorar sua conduta, especialmente após as críticas à forma como anunciou e explicou resultados recentes.

Um grande acervo de alegações contestadas

A primeira grande missão do painel já está definida. A OpenAI afirmou que um modelo ainda não divulgado que resolveu o problema de Navier-Stokes do Prêmio Millennium também resolveu mais de 100 problemas em aberto de longa data em várias áreas da matemática. A empresa já havia indicado que está se aproximando de outro problema do Prêmio Millennium.

Por isso, o AGMAI está sendo chamado a ajudar a administrar o que a OpenAI descreve como um grande conjunto de resultados significativos aguardando divulgação. O desafio não é apenas saber se as alegações estão corretas, mas também como elas são verificadas, creditadas, explicadas e distribuídas aos pesquisadores.

Hairer disse que o grupo ainda está decidindo que aconselhamento oferecerá. Os membros estão reunindo opiniões por meio de conversas com colegas, um formulário público de feedback e discussões no Proofs and Prompts, um blog dedicado à resposta dos matemáticos à IA. O sucesso do painel dependerá de a consulta se expandir para além de sua prestigiosa composição fundadora — e de a OpenAI aceitar o escrutínio quando o aconselhamento for inconveniente.