Выявление «теневого ИИ» в организациях
Повсеместное распространение инструментов искусственного интеллекта привело к появлению в корпоративной среде так называемого «теневого ИИ» (Shadow AI) — практики несанкционированного использования сотрудниками сторонних нейросетей и сервисов для рабочих задач без ведома, проверки и одобрения IT-отдела или службы безопасности. Такая деятельность персонала ведёт не только к неконтролируемым утечкам корпоративных данных, но и создаёт скрытые правовые риски, поскольку некоторые генеративные ИИ-сервисы допускают использование созданных изображений и текстов только в личных, а не в коммерческих целях. Минимизировать перечисленные неприятности позволяет разработанная компанией «РТ-Информационная безопасность» («РТ-ИБ», входит в госкорпорацию «Ростех») система обнаружения целенаправленных атак и сложных угроз RT Protect Endpoint Detection and Response (EDR) с пакетами экспертизы «Теневой ИИ» и «Контроль ИИ-агентов».
Возможности программного комплекса RT Protect EDR обеспечивают выявление «теневого ИИ» как в случае использования сотрудниками генеративных сервисов, так и агентов с целью автоматизации бизнес-процессов. «Использование ИИ-инструментов само по себе не является признаком нарушения информационной безопасности. Вместе с тем ИИ-агент действует от имени пользователя и наследует его полномочия, а значит, потенциально может обращаться к репозиториям, ключам доступа, конфигурационным файлам и другим данным, доступным учётной записи. В связи с этим при оценке активности агента мы считаем необходимым учитывать, от имени какого пользователя он работает, к каким данным обращается и какие действия выполняет. Обращения ИИ-процессов к таким объектам требуют особого внимания при расследовании. Наша задача — дать заказчикам инструмент, который позволяет видеть реальную активность ИИ-агентов и оценивать связанные с ней риски», — поясняет генеральный директор «РТ-ИБ» Дмитрий Прендецкий.
Специалисты «РТ-ИБ» проанализировали распространённые ИИ-инструменты, включая Claude Code, OpenAI Codex, GitHub Copilot CLI, Gemini CLI, Cursor, Cline и OpenHands, а также локальную среду запуска моделей Ollama. Эксперты изучили особенности их работы на компьютере: запускаемые процессы, используемые файлы и каталоги, способы установки и сетевые обращения. На основе этих данных удалось определить признаки, по которым EDR-система может выявлять активность разных ИИ-агентов.
Исследование показало, что обнаружить такую активность только по сетевому трафику или наличию установленной программы невозможно. Локальные модели могут работать непосредственно на компьютере без обращения к внешним сервисам, а сами ИИ-инструменты — запускаться разными способами и не всегда отображаться в перечне корпоративного ПО. На основе результатов исследования эксперты «РТ-ИБ» сформировали два пакета экспертизы обнаружения и последовательности расследования для RT Protect EDR. Пакет «Контроль ИИ-агентов» фиксирует запуск и поведение агента на хосте, связывает его с учётной записью пользователя и показывает, к каким данным и командам он обращается. Пакет «Теневой ИИ» — несанкционированные клиенты, локальные модели и каналы обращения к внешним сервисам. Такой подход позволяет отличить установленный, но не используемый инструмент от ИИ-агента, который выполняет действия в рабочей среде, а также сохраняет применимость при появлении новых решений.
По материалам пресс-службы госкорпорации «Ростех»