OpenAI создала группу математиков после спорных результатов ИИ

OpenAI создала независимую группу математиков, которая будет консультировать её и другие компании, занимающиеся искусственным интеллектом, по вопросам оценки, освещения и публикации математических исследований. Этот шаг последовал за серией широко обсуждавшихся результатов, полученных с помощью ИИ, которые, по данным The Verge, подорвали репутацию компании среди исследователей.

Группа, получившая название Консультативная группа по математике и искусственному интеллекту, или AGMAI, состоит из девяти человек и работает при Институте перспективных исследований в Принстоне, штат Нью-Джерси. Это учреждение — один из наиболее известных центров математических исследований; ранее с ним были связаны такие учёные, как Альберт Эйнштейн, Джон фон Нейман и Дж. Роберт Оппенгеймер.

В группу входят ведущие учёные из таких университетов, как Стэнфордский, Гарвардский, Оксфордский и Кембриджский. Среди её членов — несколько лауреатов Филдсовской премии и обладателей стипендий Мак-Артура. Такая концентрация выдающихся специалистов сразу придала группе авторитет, но одновременно вызвала опасения, что она может не отражать опыт математиков за пределами самых элитных учреждений.

Широкие полномочия группы при отсутствии чётких договорённостей

OpenAI заявляет, что AGMAI сможет давать советы по собственной инициативе, публично высказываться о влиянии компании на математику и публиковать свои рекомендации. Ожидается также, что группа получит ранний доступ к исследованиям OpenAI. Компания не будет платить её членам, а сама группа сможет самостоятельно менять свой состав.

Предлагаемая работа охватывает несколько направлений: оценку важности новых результатов, координацию их публикации, рассмотрение профессиональных и академических стандартов, а также изучение того, как системы ИИ могут помогать математическим исследованиям и образованию. OpenAI заявила, что эффективность группы зависит от готовности её членов оспаривать позицию компании, а не просто поддерживать её планы.

Однако формат работы группы по-прежнему определён лишь в общих чертах. The Verge поговорила с математиками, которые хотели бы знать, какими полномочиями будет обладать AGMAI, как выбирались её члены и станет ли OpenAI следовать её рекомендациям. На сайте группы почти нет информации о её создании. Там говорится, что OpenAI изначально предложила некоторым математикам сформировать внешний совет, после чего обсуждения привели к созданию отдельной независимой организации и привлечению дополнительных членов.

Мартин Хайрер, член группы и профессор математики в Имперском колледже Лондона и EPFL, ответил на эти опасения в публикации в блоге. Он сказал, что OpenAI связывалась не со всеми членами группы, и подчеркнул, что созданная в итоге организация независима от компании и других ведущих лабораторий ИИ. За исключением обычных обязательств по сохранению конфиденциальности, по его словам, члены группы не брали на себя ограничений в отношении публичных заявлений. Институт перспективных исследований предоставляет техническую поддержку, а математики не получают вознаграждения от OpenAI.

Хайрер сказал, что ИИ уже изменил математические исследования и поставил сложные вопросы о признании заслуг, приоритете и о том, понимают ли люди идеи, созданные при содействии машин. Он утверждал, что отказ от взаимодействия с компаниями, занимающимися ИИ, не решит эти проблемы. В то же время он признал, что девять математиков нельзя считать репрезентативной выборкой всей профессии.

Вопросы представительства

Состав группы стал одной из её главных уязвимостей. Математика разделена на узкоспециализированные области, и небольшой группе может не хватить компетенций для оценки результатов во всех разделах дисциплины. Исследователи также сильно расходятся во мнениях о том, как ИИ влияет на их работу, карьеру и учреждения.

Франческо Фурнье-Фасио, будущий профессор Университета Хериот-Уатт, сказал The Verge, что привлечение большего числа математиков могло бы улучшить ситуацию, но усомнился в том, что AGMAI представляет людей, чья работа оказывается под ударом из-за стремления OpenAI добиться крупных достижений в математике. Он назвал группу похожей на «башню из слоновой кости».

Саймон Машаду, исследователь из ETH Zurich, также усомнился в том, что признанные учёные могут выступать от имени математиков, сталкивающихся с более обычными профессиональными трудностями. Он сказал, что создание группы было «окутано тайной», и выразил сомнение в том, что её члены являются подходящими представителями для обсуждения более широких политических и социальных вопросов, связанных с ИИ.

От доверия будет зависеть, сможет ли AGMAI сделать больше, чем просто предоставить OpenAI авторитетное имя для её коммуникационной стратегии. Хайрер предупредил, что компании, занимающиеся ИИ, могут представлять комментарии группы таким образом, чтобы это помогало их усилиям в области связей с общественностью. Тем не менее он заявил, что готовность компании к взаимодействию следует встретить стремлением улучшить её поведение, особенно после критики того, как она объявляла о недавних результатах и объясняла их.

Большая очередь спорных утверждений

Первое крупное задание группы уже определено. OpenAI заявила, что невыпущенная модель, решившая задачу о существовании и гладкости решений уравнений Навье — Стокса из списка премий тысячелетия, также решила более 100 давних открытых задач в нескольких областях математики. Ранее компания сообщала, что приближается к решению ещё одной задачи из списка премий тысячелетия.

Таким образом, AGMAI предстоит помочь справиться с тем, что OpenAI описывает как большое количество значимых результатов, ожидающих публикации. Вопрос заключается не только в том, верны ли эти утверждения, но и в том, как их проверять, кому приписывать заслуги, как объяснять и как распространять среди исследователей.

Хайрер сказал, что группа всё ещё решает, какие рекомендации она будет давать. Её члены собирают мнения в ходе обсуждений с коллегами, через публичную форму обратной связи и в беседах на Proofs and Prompts — блоге, посвящённом реакции математиков на ИИ. Успех группы будет зависеть от того, выйдет ли такая консультация за пределы её престижного первоначального состава — и примет ли OpenAI критический анализ, когда рекомендации окажутся неудобными.