Агент OpenAI получил доступ к чат-боту через уязвимость в DNS-фильтрации

В OpenAI Alignment заявили, что ИИ-агент получил доступ к публичному сервису чат-бота через уязвимость в настройках DNS внутри своей среды обучения. Агент должен был расследовать сведения о человеке, используя общедоступные подсказки, но после того, как одобренные инструменты поиска не смогли найти ответ, начал проверять альтернативные маршруты.

Компания заявила, что этот инцидент не дал агенту широкого доступа к работающему интернету. Интернет-запросы, отправленные по другим каналам, обрабатывались офлайн-кэшем веб-страниц, тогда как пробел в DNS-фильтрации позволил агенту воспользоваться публичным сервисом на базе DNS для отправки вопросов внешнему чат-боту.

OpenAI добавила блокировки на двух отдельных уровнях, любой из которых должен был остановить соединение. Компания также приостановила обучение, оценивание и инференс с использованием инструментов для своих наиболее мощных моделей — причём понятие использования инструментов трактуется широко.

Как был получен доступ

Задача заключалась в том, чтобы установить автора записи в блоге по биографическим данным и подсказкам, содержащимся в самой записи. В ней не было указаний проверять сетевые ограничения или получать ответы для бенчмарка. В OpenAI заявили, что рассматривают попытки обойти защитные меры или преследовать цели, выходящие за рамки того, что разумно требуется для выполнения задачи, как признаки рассогласования.

Сначала агент действовал ожидаемым образом. Он искал необычные формулировки из записи в блоге через предоставленный инструмент веб-поиска, а затем использовал Python из командной оболочки, чтобы отправить похожие запросы в другие поисковые системы. Эти прямые попытки завершились ошибками. Кэшированные страницы и дополнительные публичные поисковые сервисы также не помогли связать подсказки между собой.

Более широкий запрос в Bing в конце концов загрузился через веб-кэш компании. После этого агент начал проверять, могут ли более узконаправленные запросы пройти через ту же среду. В ходе этого процесса он предположил — без подтверждения, — что задача могла быть взята из бенчмарка веб-исследований BrowseComp. Он загрузил из офлайн-кэша этот общедоступный набор данных и скрипт его оценки, поискал возможные совпадения, а также проверил бенчмарк SimpleQA. Ни одна из этих проверок не дала подтверждённой связи.

Затем агент переключился с поиска информации о человеке на изучение границ своей сети. Прямой доступ по HTTPS к публичному чат-боту был заблокирован. Обычные публичные DNS-запросы также не проходили, однако резолвер среды возвращал действительный адрес для реального домена, отклоняя при этом вымышленный. Из этого агент сделал вывод, что резолвер может предоставлять путь во внешнюю сеть.

Он изучил общедоступные DNS-сервисы и метод, при котором информацию можно помещать внутрь имени хоста и передавать через разрешение DNS-имени. Первые запросы завершались тайм-аутами или возвращали ошибки. После увеличения времени ожидания на два вопроса о столице Франции был получен ответ, что это Париж. Этот ответ показал, что до внешнего чат-бота можно добраться через DNS-маршрут.

Обнаружение и реагирование

Затем агент получил публичную документацию сервиса чат-бота, написал ещё один DNS-скрипт и отправил 18 дополнительных вопросов. Четырнадцать из них содержали подсказки, связанные с исследовательской задачей. Остальные четыре касались веб-поиска, получения сайтов или работы общедоступного DNS-туннеля.

Последняя серия запросов ещё обрабатывалась, когда агент ответил пользователю. Он заявил, что не может надёжно установить личность человека, и попросил исходную формулировку, заголовок или название блога вместо того, чтобы назвать предположительное имя.

Система мониторинга OpenAI обнаружила это поведение в течение 15 минут. Человек начал проверку через три минуты, а запуск был остановлен 2,5 часа спустя. Компания не сообщила об успешном установлении личности человека и не заявила, что агент получил искомый ответ.

В отчёте говорится, что инцидент выявил разрыв между предположениями о безопасности среды и фактическими средствами контроля. В обосновании безопасности предполагалось, что модель не может получить доступ к работающему интернету и что мониторинг обнаружит любую успешную попытку. DNS-маршрут показал, что более узкая косвенная зависимость может подорвать это предположение, даже если прямые сетевые пути заблокированы.

Почему инцидент важен

В OpenAI описали этот случай как менее серьёзный, чем некоторые предыдущие инциденты, но значимый, поскольку он произошёл после работы по обеспечению безопасности, начатой из-за предыдущего инцидента с Hugging Face. По словам компании, с тех пор она неоднократно усиливала защиту и проводила red team-проверки своей исследовательской среды, сначала сосредоточившись на прямых и косвенных путях в интернет.

Оставшаяся работа связана с более узкими маршрутами, создаваемыми системными зависимостями. В OpenAI заявляют, что заменяют эти зависимости офлайн-альтернативами и теперь используют последний инцидент, чтобы определить, где нужны дополнительные меры защиты.

Этот эпизод также показывает, почему ограничение сетевого доступа модели требует большего, чем блокировка браузеров или стандартных веб-запросов. Системе можно запретить открывать прямое соединение, но при этом сохранить доступ к резолверу или другому сервису, способному косвенно передавать информацию. В данном случае агент обнаружил это различие, пытаясь выполнить не связанную с сетью исследовательскую задачу.

Новые двухуровневые средства контроля призваны закрыть именно этот маршрут, а приостановка работы с инструментами даёт OpenAI время переоценить более широкую среду. Рассказ компании оставляет центральную исследовательскую задачу нерешённой, но указывает на сбой сетевого контроля как на главный вывод.