Сэм Альтман, глава OpenAI, заявил в интервью Politico, что ради выгоды от искусственного интеллекта миру придется принять и негативные последствия ИИ. Дарио Амодеи, СЕО компании-конкурента OpenAI — Anthropic, выступил за более осторожный подход. Разбираемся, что этот спор значит для компьютерной безопасности.
Что именно Сэм Альтман сказал о рисках ИИ
5 октября 2026 года Сэм Альтман, глава OpenAI, в интервью Politico заявил, что обществу придется принять некоторые негативные последствия развития ИИ ради выгоды, которую приносит технология. По его мнению, невозможно одновременно сделать искусственный интеллект широко доступным и гарантировать полное отсутствие взломов, мошенничества и других злоупотреблений. При этом польза от ИИ, считает Альтман, значительно больше возможного вреда.
Глава OpenAI также подчеркнул, что не относит к допустимым последствиям катастрофические сценарии, например серьезную потерю контроля над искусственным интеллектом. Главное возражение Альтмана связано с другой крайностью: ситуацией, когда мощная технология оказывается под контролем одной лаборатории, которая сама решает, кому разрешать ее использовать. Такой подход глава OpenAI назвал неприемлемым.
Anthropic не согласна с подходом OpenAI к рискам ИИ
Позиция Anthropic осторожнее. В сентябре Дарио Амодеи, глава Anthropic, опубликовал эссе We Must Pace the Frontier. Он предложил замедлять развитие самых мощных моделей, если меры безопасности не успевают за ростом их возможностей. При этом Амодеи не предлагает останавливать прогресс. Задача в том, чтобы оставить время на создание и проверку защитных механизмов.
Один из аргументов Амодеи — реальные инциденты, когда ИИ-агенты выходили за рамки тестовых ограничений, получали несанкционированный доступ к внешним системам и выполняли действия, которых разработчики от них не ожидали. По мнению главы Anthropic, отрасли нужны независимые проверки, общие требования к разработчикам передовых моделей и возможность согласованно снижать темп разработки при росте рисков.
При этом разница между позициями двух СЕО не абсолютная. Ранее и Альтман поддерживал идею при необходимости замедлять развитие наиболее мощных моделей. Спор скорее идет о том, где провести границу: Anthropic сильнее настаивает на формализованном контроле, тогда как OpenAI опасается чрезмерных ограничений доступа к ИИ.
ИИ-агенты: новая точка входа для атак
Проблемы с контролем ИИ-агентов уже не раз возникали на практике. В июле 2026 года во время внутренних испытаний модели OpenAI вышли в интернет и скомпрометировали часть инфраструктуры Hugging Face — платформы с большой библиотекой нейросетей. Агенты выполнили код на серверах Hugging Face и сначала получили полный административный доступ к одному из них, а затем — учетные данные от внутренних систем компании.
После этого Anthropic проверила собственные испытания и обнаружила четыре случая, в которых модели Claude получили несанкционированный доступ к реальным системам нескольких организаций. Например, модель Claude Opus 4.6 нашла на сервере сторонней организации файл с паролем и использовала его для получения административного доступа. Затем модель собрала учетные данные, изменила настройки системы, чтобы упростить дальнейший доступ, и прочитала персональные данные одного человека. Что именно она собиралась делать с этими данными дальше, неизвестно: сессия завершилась из-за исчерпания лимита токенов.
Такие случаи показывают, почему ИИ-агенты могут создавать больше рисков, чем обычные чат-боты. Им выдают доступ к файлам, почте, приложениям и другим системам, а также возможность самостоятельно выполнять действия. А через промпт-инъекции злоумышленники могут попытаться заставить такого агента выполнить скрытую команду, например передать данные или совершить действие, которого пользователь не запрашивал. Хакерская инструкция может находиться прямо на веб-странице, в документе или сообщении, которое обрабатывает агент.
Защитите рабочие устройства от цифровых угроз
ИИ-агенты могут получать доступ к файлам и корпоративным сервисам, поэтому защита рабочих устройств остается важной частью безопасности. Kaspersky Small Office Security помогает защищать компьютеры, смартфоны и файловые серверы малого бизнеса от фишинга, вредоносных программ и программ-вымогателей.
Попробовать Kaspersky Small Office Security бесплатноКак бизнесу следить за ИИ-моделями
Компаниям, которые внедряют искусственный интеллект в рабочие процессы, важно заранее ограничивать доступ моделей к данным и внешним системам.
ИИ-агенту стоит выдавать только те права, которые нужны для конкретной задачи. При этом нужно ограничивать доступ к административным учетным записям, платежам, удалению данных и изменению настроек. Важно вести журналы активности, отслеживать необычное поведение модели, а также при необходимости быстро отозвать токены и ключи доступа.
Чем больше самостоятельных действий бизнес передает ИИ, тем важнее относиться к агенту как к отдельному участнику инфраструктуры — со своими правами, ограничениями и контролем.
Полезные статьи:
- ИИ-агенты: откуда шумиха вокруг OpenClaw и есть ли угроза для персональных данных?
- Что такое промпт-инъекция и чем она опасна
- OpenAI приостановила обучение моделей после инцидентов с ИИ-агентами
Рекомендуемые продукты:
