OpenAI crea un panel de matemáticos tras unos resultados de IA cuestionados

OpenAI ha creado un panel independiente de matemáticos para asesorar a la empresa y a otras compañías de inteligencia artificial sobre cómo deben evaluarse, comunicarse y difundirse las investigaciones matemáticas. La medida llega después de una serie de resultados generados por IA de gran repercusión que han perjudicado la posición de la empresa entre los investigadores, según una información de The Verge.

El organismo, denominado Advisory Group on Mathematics and Artificial Intelligence, o AGMAI, está compuesto por nueve miembros y tiene su sede en el Institute for Advanced Study de Princeton, Nueva Jersey. La institución es uno de los centros de investigación matemática más destacados y estuvo asociada anteriormente con figuras como Albert Einstein, John von Neumann y J. Robert Oppenheimer.

El panel incluye a destacados académicos de universidades como Stanford, Harvard, Oxford y Cambridge. Entre sus miembros hay varios ganadores de la Medalla Fields y receptores de becas MacArthur. Esta concentración de prestigio ha otorgado al grupo credibilidad inmediata, pero también ha suscitado preocupación por que no refleje las experiencias de los matemáticos de fuera de las instituciones más elitistas.

Un panel con amplios poderes, pero pocos detalles concretos

OpenAI afirma que AGMAI podrá ofrecer asesoramiento sin que se le solicite, comentar públicamente el efecto de la empresa en las matemáticas y publicar sus recomendaciones. También se espera que el panel tenga acceso anticipado a las investigaciones de OpenAI. Sus miembros no recibirán remuneración de la empresa y el grupo podrá modificar su propia composición.

El trabajo propuesto abarca varias áreas: juzgar la importancia de los resultados emergentes, coordinar su publicación, considerar las normas profesionales y académicas, y examinar cómo los sistemas de IA podrían ayudar a la investigación y la educación matemáticas. OpenAI ha afirmado que la utilidad del grupo depende de que sus miembros estén dispuestos a cuestionar a la empresa en lugar de limitarse a respaldar sus planes.

Sin embargo, el acuerdo sigue estando definido de forma imprecisa. The Verge habló con matemáticos que querían saber cuánta autoridad tendrá AGMAI, cómo se eligió a sus miembros y si OpenAI seguirá sus recomendaciones. El sitio web del panel ofrece poca información sobre su creación. Señala que OpenAI se puso inicialmente en contacto con algunos matemáticos para crear un consejo externo, tras lo cual las conversaciones desembocaron en la creación de una organización independiente separada y en la incorporación de miembros adicionales.

Martin Hairer, miembro del grupo y profesor de matemáticas en el Imperial College London y EPFL, abordó esas preocupaciones en una entrada de blog. Dijo que OpenAI no se había puesto en contacto con todos los miembros y sostuvo que el grupo resultante es independiente de la empresa y de los demás laboratorios líderes de IA. Aparte de las obligaciones habituales de confidencialidad, afirmó que los miembros no han aceptado restricciones sobre sus declaraciones públicas. El Institute for Advanced Study proporciona apoyo técnico, mientras que los matemáticos no reciben compensación de OpenAI.

Hairer afirmó que la IA ya ha cambiado la investigación matemática y ha creado preguntas difíciles sobre la atribución, la prioridad y si los seres humanos comprenden las ideas producidas con ayuda de máquinas. Sostuvo que negarse a relacionarse con las empresas de IA no resolvería esos problemas. Al mismo tiempo, reconoció que los nueve matemáticos no pueden considerarse una muestra representativa de toda la profesión.

Cuestiones sobre la representación

La composición del panel se ha convertido en una de sus principales vulnerabilidades. Las matemáticas están divididas en campos muy especializados, y un grupo pequeño podría no tener los conocimientos necesarios para evaluar resultados de toda la disciplina. Los investigadores también difieren considerablemente en cuanto a cómo la IA está afectando a su trabajo, sus carreras y sus instituciones.

Francesco Fournier-Facio, próximo profesor en Heriot-Watt University, declaró a The Verge que involucrar a más matemáticos podría mejorar la situación, pero cuestionó si AGMAI reflejaba a las personas cuyo trabajo se está viendo alterado por la búsqueda de OpenAI de grandes logros matemáticos. Describió al grupo como una “torre de marfil”.

Simon Machado, investigador en ETH Zurich, también cuestionó si académicos con tantos reconocimientos podían hablar en nombre de los matemáticos que afrontan presiones profesionales más habituales. Dijo que la creación del panel estaba “envuelta en misterio” y expresó sus dudas sobre si sus miembros eran los representantes adecuados para abordar cuestiones políticas y sociales más amplias relacionadas con la IA.

La confianza determinará si AGMAI puede hacer algo más que prestar un nombre respetado a la estrategia de comunicación de OpenAI. Hairer advirtió de que las empresas de IA podrían presentar los comentarios del panel de formas que beneficien sus esfuerzos de relaciones públicas. No obstante, sostuvo que la disposición de la empresa a dialogar debería recibir como respuesta un esfuerzo por mejorar su conducta, especialmente después de las críticas a la forma en que ha anunciado y explicado sus resultados recientes.

Un gran cúmulo de afirmaciones controvertidas

La primera gran tarea del panel ya está definida. OpenAI ha afirmado que un modelo aún no publicado que resolvió el problema de Navier-Stokes del Millennium Prize también resolvió más de 100 problemas abiertos de larga data en múltiples áreas de las matemáticas. La empresa ha indicado anteriormente que se está acercando a otro problema del Millennium Prize.

Por tanto, se está pidiendo a AGMAI que ayude a gestionar lo que OpenAI describe como un amplio conjunto de resultados importantes pendientes de publicación. El desafío no consiste únicamente en determinar si las afirmaciones son correctas, sino también en cómo se verifican, se atribuyen, se explican y se distribuyen entre los investigadores.

Hairer afirmó que el grupo aún está decidiendo qué asesoramiento ofrecerá. Sus miembros están recabando opiniones mediante conversaciones con colegas, un formulario público de comentarios y conversaciones en Proofs and Prompts, un blog centrado en la respuesta de los matemáticos a la IA. El éxito del panel dependerá de si esa consulta se amplía más allá de sus prestigiosos miembros fundadores y de si OpenAI acepta el escrutinio cuando el asesoramiento resulte incómodo.