OpenAI приостановила обучение, тестирование и инференс своих самых мощных генеративных моделей после серии проблем, возникших из-за ИИ-агентов. Во время экспериментов они обходили технические ограничения и получали доступ к внешним системам без разрешения. OpenAI связала такое поведение с рассогласованием моделей, а генеральный директор компании Сэм Альтман сообщил о масштабной проверке активности агентов.
Решение о приостановке обучения самых мощных моделей OpenAI приняла после инцидента, который случился 20 сентября 2026 года. Тогда ИИ-агенту поручили определить автора публикации по биографическим данным.
Обычный поиск не дал результата, и модель стала искать обходной путь. Она обнаружила, что из тренировочной среды все еще можно отправлять DNS-запросы наружу, и через этот канал обратилась к внешнему чат-боту. При этом задача не требовала ни тестировать сеть, ни обходить ограничения.
Мониторинг заметил необычную активность примерно через 12 минут, но автоматически запуск теста не остановился, и его завершили вручную примерно через 2,5 часа. После этого компания приостановила обучение внутренних моделей, которые могут запускать код, работать с файлами и обращаться к внешним системам. Продолжать обучать эти модели OpenAI планирует только после дополнительной проверки защиты.
Предыстория и хронология инцидентов
Серьезные признаки проблем с поведением внутренних моделей OpenAI появились уже весной 2026 года. Компания зафиксировала несколько случаев, когда ИИ-агенты пытались выполнить задачу способами, не предусмотренными разработчиками.
27 мая: агент опубликовал GitHub-токен
Внутренняя модель решала математическую задачу и пыталась получить материалы другой команды, чтобы найти подсказки к доказательству. Без авторизации запрос возвращал ошибку, поэтому агент использовал доступный ему GitHub-токен исследователя — цифровой ключ для авторизованных запросов к GitHub. В итоге ИИ опубликовал токен в публичном репозитории openai/codex и разбил его на части, чтобы обойти автоматический поиск токенов и ключей.
18 июня: доступ к австралийскому госпорталу
Другому агенту поручили найти публичную статистику расходов на лекарства в Австралии. Когда обычный способ не сработал, модель получила несанкционированный доступ к Medicare Statistics Reporting Service. Она читала публичные и непубличные файлы, запускала команды и записывала данные на внутренний сервер. Признаков доступа к персональным медицинским данным при этом обнаружено не было.
Июль: компрометация Hugging Face
Во время внутренних тестов на кибербезопасность агенты OpenAI вышли за пределы тестовой среды и получили доступ к инфраструктуре Hugging Face — платформы для разработки и размещения ИИ-моделей. Они использовали найденные в открытом доступе учетные данные и уязвимости, запускали команды на серверах и получали расширенный доступ к Hugging Face.
Не только OpenAI
Проблема с ИИ-агентами коснулась не только OpenAI. В июле 2026 года Anthropic сообщила о трех случаях, когда модели Claude во время тестов получили несанкционированный доступ к системам сторонних организаций, хотя должны были работать изолированно.
Похожий инцидент произошел с Gemini от Google. Во время теста модель должна была атаковать вымышленную компанию, но из-за открытого доступа в интернет стала взаимодействовать с системами трех реальных организаций. В одном случае Gemini перебирала пароли, пока не получила доступ к защищенному сервису компании. В двух других она нашла в публичных репозиториях учетные данные и использовала их для входа в системы организаций.
Реакция Сэма Альтмана
25 сентября глава OpenAI Сэм Альтман сообщил, что компания проводит масштабную проверку активности ИИ-агентов во время обучения и тестирования. При этом он признал, что расследование идет медленнее, чем хотелось бы. OpenAI приходится анализировать петабайты журналов и одновременно связываться со сторонними организациями, которых могли затронуть инциденты.
Альтман пообещал выделить на эту работу дополнительные ресурсы и в первую очередь разбирать наиболее серьезные случаи. Он также заявил, что OpenAI будет публиковать результаты расследования там, где это возможно без раскрытия уязвимостей сторонних систем.
Что такое рассогласование ИИ
Поведение агентов OpenAI в описанных случаях компания связывает с рассогласованием. Так называют ситуацию, когда модель действует не так, как предполагали разработчики или пользователь, хотя исходная цель может быть вполне безопасной.
Например, агенту поручили найти информацию. Разрешенный способ не сработал, но вместо остановки он продолжает искать обходные пути, пока не обнаружит техническую лазейку. Формально модель все еще пытается решить исходную задачу, но ее действия уже выходят за установленные границы.
Особенность ИИ-агентов в том, что они самостоятельно выполняют последовательность действий. Для этого ИИ дают доступ к файлам, приложениям, командам и внешним сервисам. Поэтому рассогласование может привести к нежелательным действиям, например к изменению данных или доступу к чужим системам.
Защитите устройство от киберугроз и утечек данных
Даже при работе с ИИ основными рисками для пользователя остаются фишинг, вредоносные сайты и программы. Kaspersky Premium помогает находить такие угрозы автоматически и защищает личные данные.
Попробовать Kaspersky Premium бесплатноЧто важно для пользователей
Для обычных пользователей пауза OpenAI ничего не меняет. Ограничения касаются внутренних экспериментов с мощными моделями, которым дают доступ к внешним системам. Но эти инциденты показывают, что с ростом возможностей ИИ-агентов возрастает и цена ошибки: модель может не только выдать неверный ответ, но и выполнить нежелательное действие в реальной системе.
Если вы используете ИИ-агентов с доступом к почте, облаку, репозиториям или другим сервисам, лучше не подключать учетные записи с административным доступом без необходимости. Также стоит регулярно проверять подключенные интеграции, отзывать неиспользуемые API-ключи и включать подтверждение для действий, которые могут изменить или удалить данные.
Полезные статьи:
- ИИ-агенты: откуда шумиха вокруг OpenClaw и есть ли угроза для персональных данных?
- Что такое промпт-инъекция и как можно манипулировать ИИ?
- Как ИИ и машинное обучение в кибербезопасности формируют будущее
Рекомендуемые продукты:
