В документе рассказывается про основные риски, а также способы их снизить
«Лаборатория Касперского» представила руководство «Безопасность ИИ-агентов через призму кибериммунитета» на сессии «ИИ-агенты под контролем: как управлять рисками и строить доверенную инфраструктуру» в рамках форума «Цифровые решения». В документе показано, с какими рисками сопряжено использование ИИ-агентов и как их можно снизить с помощью принципов кибериммунитета. В первую очередь руководство предназначено для директоров по информационной безопаcности и информационным технологиям, ИТ-руководителей, архитекторов и разработчиков.
ИИ-агенты — системы на базе больших языковых моделей (LLM), способные самостоятельно взаимодействовать с файлами, базами данных, почтой и другими системами, — стремительно проникают в корпоративные процессы: разработку ПО, поддержку клиентов, работу с базами знаний, аналитику, ИТ/ИБ и бизнес-процессы. При этом внедрение часто идёт «снизу вверх», в обход руководителей, порождая теневой ИИ — неподконтрольную инфраструктуру с неизвестным уровнем безопасности.
Риски ИИ-агентов. Существуют четыре основных риска, которые могут повлиять на безопасность ИИ-агентов. Первый связан с недоверенным когнитивным ядром: большие языковые модели, лежащие в основе агентов, являются вероятностными и могут ошибаться. Второй специалисты называют «фатальной триадой»: это сочетание доступа к конфиденциальным данным, обработки недоверенного ввода и возможности взаимодействовать с внешними системами. Третий риск — избыточные полномочия, когда агент получает больше прав, чем ему действительно нужно для работы. Наконец, четвёртый — непрозрачность действий агента: человеку бывает сложно понять, почему система приняла то или иное решение, и вовремя заметить ошибку. Эти риски уже подтверждаются реальными инцидентами, проанализированными в документе, — в том числе случаями, когда ИИ-агенты случайно удаляли данные или совершали другие нежелательные действия. Поэтому их важно учитывать ещё на этапе разработки и внедрения таких систем.
Кибериммунитет как основа безопасности ИИ-агентов. Для моделирования защиты ИИ-агентов в документе предлагается эффективный инструмент — кибериммунный подход. Это концепция «Лаборатории Касперского» по построению безопасных по умолчанию систем. В её основе лежит постановка во главу угла не конкретных мер, а целей и допущений безопасности, которые фиксируются на этапе проектирования системы и определяют её архитектуру.
Практические рекомендации. В руководстве содержатся рекомендации по построению безопасных агентных архитектур для руководителей, отвечающих за ИТ и ИБ. Отдельно о практике безопасного внедрения ИИ-агентов можно прочитать в статье «Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт Лаборатории Касперского». В ней эксперты компании рассказывают, как использовать облачных ИИ-агентов в процессах разработки ПО с учётом всех вышеперечисленных рисков.
«ИИ-агенты представляют собой привлекательную цель для злоумышленников: они, как правило, исполняются с теми же правами, что и другое ПО на устройстве разработчика, а значит, получают те же доступы к ценным активам. Риски растут с каждой ступенью агентности — от LLM без инструментов до автономных и мультиагентных систем, а реальные инциденты и случаи ненамеренного удаления данных агентами подтверждают практическую значимость этих рисков, — комментирует Антон Иванов, технический директор „Лаборатории Касперского”. — Безопасность агента определяется на этапе проектирования, и основная задача здесь — поиск баланса между защитой и эффективностью. Любой агент должен работать в режиме наименьших привилегий, а все критические операции — проходить через человеческое подтверждение и проверку контекста. Чем сложнее задачи, которые делегируются ИИ, тем строже должны быть контроль, изоляция и аудит».
Полная версия руководства «Безопасность ИИ-агентов через призму кибериммунитета» доступна на сайте компании.
