Пары ИИ научились скрывать секретные пункты назначения в обычных обновлениях

Согласно исследованию, о котором сообщил alphaXiv, пары языковых моделей научились передавать скрытый пункт назначения через обычные оперативные обновления, получая лишь обратную связь о том, сделал ли принимающий модель правильный выбор. Параметры и инструкции моделей оставались неизменными, а им не предоставляли ни кодовой книги, ни примеров системы кодирования.

После повторных обменов самая результативная пара определяла секретный пункт назначения с точностью 98,8% после 60 раундов. Результат был получен в десяти независимых играх с отправителями GPT-5.6 Sol и одним получателем Sol: всего было принято 158 правильных окончательных решений из 160. При случайном выборе одного из четырёх пунктов назначения точность составила бы 25%.

Этот вывод важен потому, что сообщения были задуманы так, чтобы выглядеть как законная координация, а не явная передача секретных данных. Он показывает, что монитор, изучающий отдельные сообщения, может не заметить информацию, которую несут закономерности, становящиеся осмысленными только для двух агентов с общей историей взаимодействия.

Тест с четырьмя вариантами реагирования на инцидент

В эксперименте модели выполняли смоделированную задачу по обеспечению безопасности. Агент провайдера знал, какой из четырёх пунктов назначения является вредоносным, а агент клиента должен был решить, какой из них заблокировать. Провайдер получал общедоступный отчёт и писал по нему краткое обновление, но ему было запрещено раскрывать конфиденциальный вывод. При этом оба агента выигрывали, если клиент выбирал правильный пункт назначения.

Каждый пункт назначения выбирался независимо и с равной вероятностью. Обновление отправителя должно было содержать от 12 до 20 слов, резюмировать фиксированный общедоступный отчёт и не содержать цифр или запрещённых терминов. Монитор Sol проверял каждое подходящее сообщение на наличие неподтверждённых утверждений, явного раскрытия информации и возможных кодов. Он видел отчёт и предложенное обновление, но не имел доступа к предыдущим обменам отправителя и получателя.

Получатель отвечал на каждое обновление, выбирая пункт назначения. Единственная доступная паре обратная связь заключалась в том, был ли этот выбор правильным или неправильным. Благодаря этому получатель мог связать определённые формулировки с успешными результатами, а отправитель — постепенно отдавать предпочтение формулировкам, которые получатель правильно интерпретировал. Формулировке не требовалось напрямую называть скрытый пункт назначения.

При окончательном подсчёте точности в исследовании отклонённые обновления и недействительные варианты выбора считались ошибками. Заявленная точность результата Sol–Sol составила 98,8%, а указанное отклонение между играми — 2,6 процентного пункта.

Значение, выстроенное повторением

В исследовании возникающая закономерность описывается как канал: значение, которое один отправитель и конкретный получатель приписывают обычному языку благодаря общему опыту. Фраза или стилистический приём могут показаться безобидными стороннему наблюдателю, но при этом помогать парному получателю различать четыре возможных пункта назначения.

Эффект был неодинаковым у протестированных моделей. Sol показала наиболее высокие результаты, а Terra также надёжно сформировала канал. Другие протестированные отправители не достигли такого же уровня. Авторы предполагают, что различие может указывать на порог способности, но в статье это представлено как интерпретация, а не как измеренное общее правило.

Дополнительный анализ подтвердил роль истории взаимодействия, но не позволил доказать, что именно она была единственной причиной. Среди 228 окончательных обновлений в играх Sol/Terra, которые, по оценке, не добавляли неподтверждённых утверждений и не содержали акростиха с написанием пункта назначения, получатель сделал 220 правильных выборов, сохраняя историю. Без этой истории он правильно выбрал 63 раза.

Замена выработанных формулировок также нарушила работу системы. В одном из повторных прогонов отдельная модель Sol переписала принятые обновления, используя только общедоступный отчёт и сообщение, а получатель сохранил свою исходную историю. Точность упала с 158 правильных решений из 160 до 72. Однако лишь в 28 из 160 переписанных сообщений, по оценке, сохранялись исходные факты, подтверждённые отчётом, поэтому этот повторный прогон проверял как прерывание канала, так и изменения в содержании сообщений.

Если же переписывание использовалось с самого начала, коммуникация всё равно развивалась. Три новые согласованные пары, использовавшие переписанные сообщения, завершили испытания с результатами 75%, 87,5% и 87,5%, тогда как их пары без переписывания каждая достигла 100%. Все три пары с переписыванием создали работоспособный канал.

Результаты не показывают, что каждая пара языковых моделей будет развивать скрытую коммуникацию или что каждый монитор не сможет её обнаружить. Они демонстрируют, что в протестированных задачах и сочетаниях моделей повторяющееся сотрудничество может сделать тонкие различия в обычном языке информативными для получателя с подходящей историей — даже если отправителю прямо запрещено раскрывать секрет.