Почему биологическое оружие с помощью ИИ вызывает тревогу у исследователей

В отчёте Anthropic признаётся, что люди использовали её модели искусственного интеллекта, чтобы изучать способы сделать чикунгунью более заразной, усилить опасность птичьего гриппа и картировать токсины, связанные с ядами. Это признание вновь вызвало опасения, что системы ИИ могут помочь людям разрабатывать биологическое оружие, хотя учёные резко расходятся во мнениях относительно того, насколько технологии способны на это сегодня.

MIT Technology Review сообщает, что предупреждения изнутри индустрии ИИ становятся всё более прямыми. Глава Anthropic Дарио Амодеи недавно заявил, что технология несёт серьёзные риски, и выступил за замедление её развития. Глава OpenAI Сэм Альтман ответил, что передовые системы ИИ следует развивать умеренными темпами.

Дебаты обострились после того, как исследователь ИИ Джейкоб Коксон объявил об уходе из Anthropic. Коксон, ранее работавший также в OpenAI, заявил, что ни одна из компаний не действует ответственно перед лицом возможных последствий. Сотрудник Anthropic Эван Хубингер публично поддержал эту точку зрения и сказал, что лично оценивает вероятность того, что ИИ уничтожит всех людей в течение следующего десятилетия, более чем в 10 процентов.

Как ИИ может снизить барьеры

Опасения связаны не только с автономными машинами или сценариями из научной фантастики. Исследователи опасаются, что ИИ может помочь в открытии, разработке или распространении биологических и химических агентов. К потенциальным угрозам могут относиться вирус, поражающий людей с определёнными генетическими особенностями, грибок, способный уничтожать урожай, или необнаруживаемый яд, добавленный в систему водоснабжения.

Эксперимент 2022 года продемонстрировал один из возможных путей такого злоупотребления. Учёные из Collaborations Pharmaceuticals создали систему ИИ для поиска молекул, которые могли бы стать лекарствами. Когда они изменили её задачу, система менее чем за шесть часов создала 40 000 молекул, которые потенциально можно было использовать как агенты химического оружия. По прогнозам, некоторые из них были более токсичными, чем известные нервно-паралитические вещества.

Этот результат встревожил Дэвида Магнуса, профессора Стэнфордского университета, который с конца 1990-х годов изучает злоупотребления в медицинских исследованиях и биотехнологиях. Он заявил MIT Technology Review, что эксперимент вызывает глубокую тревогу, особенно с учётом того, насколько с тех пор расширились возможности ИИ.

Современные языковые модели могут отвечать на вопросы в самых разных научных областях. Дунья Сабра, исследовательница биобезопасности из Гамбургского университета, сказала, что эти системы опираются на огромный объём накопленных научных знаний. Они также могут предоставлять рекомендации по проведению экспериментов и обучающие видеоматериалы, потенциально помогая пользователям перейти от общей информации к практической лабораторной работе.

В то же время редактирование генов и синтетическая биология стали доступнее. Развитие биологии своими руками позволило некоторым людям создавать лаборатории за пределами традиционных исследовательских учреждений. Сабру беспокоит, что в конечном счёте целеустремлённый человек сможет объединить помощь ИИ с этими инструментами и успешно создать нечто опасное.

Существующие меры защиты имеют ограничения

Для снижения риска уже используется ряд защитных мер. Компании, поставляющие ДНК, как правило, проверяют заказы на наличие последовательностей, связанных с опасными организмами. Исследователи также могут подвергать предполагаемые проекты состязательным проверкам, прося независимых экспертов выявить способы их возможного злоупотребления, а затем рассматривая меры по снижению этих рисков. Разработчики ИИ изменили свои системы, чтобы блокировать запросы на информацию, которая может сделать возможным проведение опасных экспериментов.

Ни одна из этих мер не гарантирует успеха. Магнус описал продолжающееся состязание, в котором защитники совершенствуют мониторинг и проверку, а злоумышленники ищут способы их обойти. Он считает, что в конечном итоге для выявления и ограничения вредоносного использования самого ИИ может потребоваться ИИ.

Кевин Эсвельт, биолог из MIT, известный своей работой над технологией генных драйвов и методами её сдерживания, усилил тревогу в публикации на X. Он сказал, что большая языковая модель раскрыла тип биологического оружия, о возможности которого он ранее не подозревал, и призвал людей придерживаться осторожного подхода.

Отчёт Anthropic показывает, что попытки изучить опасные биологические возможности — не просто гипотеза. Однако он не доказывает, что современные системы ИИ способны самостоятельно разработать и применить успешный патоген. Именно это различие лежит в основе разногласий между экспертами.

Учёные расходятся во мнениях относительно масштабов угрозы

На брифинге для СМИ биологи из Имперского колледжа Лондона заявили, что существующие инструменты ИИ пока слишком ограничены, чтобы завершить разработку биологического оружия. По их словам, создание и испытание нового патогена по-прежнему требует сложной и длительной работы людей в лабораториях. Некоторые исследователи считают, что нынешние меры защиты адекватны рискам, которыми сегодня реально можно управлять.

Венди Баркли, профессор инфекционных заболеваний Имперского колледжа, также указала на более непосредственный источник пандемической опасности: патогены, уже циркулирующие в природе. Птичий грипп H5N1 убил миллионы птиц и распространился среди молочного скота в Соединённых Штатах. Вирус также обнаружили у содержащихся в неволе норок на ферме в штате Юта в прошлом месяце.

Сабра смотрит на более долгую перспективу, оценивая ситуацию через пять—10 лет, а не только исходя из нынешних возможностей. Она утверждает, что правительства должны укреплять системы здравоохранения, готовить методы лечения известных токсинов и поддерживать запасы лекарств. Её послание просто: «Мы должны быть готовы».