Positive Technologies назвала критические для бизнеса последствия использования искусственного интеллекта

Эксперты Positive Technologies подробно проанализировали три ключевых направления развития искусственного интеллекта (ИИ): агентский ИИ (agentic AI)¹, ИИ на периферийных устройствах (edge AI)² и квантовый ИИ (quantum AI)³. Каждое из этих направлений не только создает для бизнеса новые возможности, но и приводит к возникновению новых киберугроз. Реализованные атаки могут приводить к утечке данных, нарушению бизнес-процессов и другим серьезным последствиям — фальсификации биометрии, финансовым рискам, остановке производств, ДТП или созданию потенциально опасных препаратов.

Агентский ИИ и мультиагентные системы, построенные на больших языковых моделях (LLM), способны автономно анализировать данные, принимать решения и взаимодействовать с внешними источниками. По прогнозам аналитического агенства Gartner, к 2028 году с их помощью бизнес сможет автоматизировать до 15% рабочей рутины — от управления логистикой до персонализированного обслуживания клиентов.

Согласно исследованию Positive Technologies, применение ИИ-агентов влечет и новые киберугрозы. Для получения доступа к конфиденциальной информации или критически важным системам злоумышленники могут подменить данные в памяти и использовать инструменты агента в злонамеренных целях. Ложные входные данные приводят ИИ к цепочке ошибочных действий, а перегруз массой запросов вызывает сбои в работе — все это может спровоцировать нарушение бизнес-процессов или игнорирование политик безопасности. А внедрение вредоносного кода в фреймворки для разработки ИИ-агентов ставит под угрозу все связанные системы.

Стремительный рост числа устройств интернета вещей стимулировал развитие технологий периферийных вычислений (обработки данных в непосредственной близости от источника их генерации). Сочетание периферийных вычислений с ИИ (edge AI) открывает новые возможности в различных отраслях, например в медицине или в развитии умных городов. Благодаря edge AI интеллектуальные системы могут работать бесперебойно даже в местах с ограниченной или нестабильной связью. А обработка данных в реальном времени обеспечивает сверхвысокую скорость принятия решений, позволяя выявлять неисправности оборудования на ранних стадиях. 

Злоумышленники могут воспользоваться уязвимостями самих умных устройств, например небезопасными параметрами или устаревшими компонентами. Передача данных по сети предполагает риск классических сетевых атак вроде DDoS⁴, спуфинга⁵ и «человек посередине»⁶. Злоумышленники могут атаковать и сами модели edge AI, к примеру подменив входные данные. В результате атакующие могут получить доступ к чувствительной информации организации.

Применение квантового ИИ на практике пока ограничено, но его потенциал уже исследуют в медицине, финансах, логистике, энергетике, фармацевтике и других областях. Технология позволяет решать сложные задачи оптимизации, значительно ускоряя рабочие процессы, а также отличается низким энергопотреблением по сравнению с классическими суперкомпьютерами. А за счет точного моделирования молекулярных взаимодействий квантовый ИИ перспективен в разработке новых материалов и веществ.

Сегодня и в ближайшем будущем большинство взаимодействий с квантовым ИИ будет происходить через облачных провайдеров. Используя уязвимости облачных платформ, злоумышленники могут похитить архитектуру модели, обучающие данные и другую интеллектуальную собственность. Внедрение скрытых уязвимостей на этапе обучения модели вызывает ее неправильную работу: к примеру, в фармацевтике токсичное вещество может определяться как безопасное, в финансах могут не распознаваться мошеннические транзакции и т. п. К критическим ошибкам — от навигационных сбоев беспилотников до фальсификации биометрической идентификации — приводит и искажение входных данных. Квантовый ИИ также усиливает результативность традиционных кибератак, например способствует взлому учетных записей методом перебора паролей.

Эксперты Positive Technologies обращают внимание, что внедрение ИИ требует комплексной оценки рисков. Недостаточно ограничиться технической защитой модели, необходимо контролировать стык технологий и бизнес-процессов через обучение сотрудников и стандартизацию рабочих процедур. Особое внимание стоит уделить защите данных: ограничить доступную ИИ информацию и внедрить механизмы контроля для предотвращения утечек конфиденциальных сведений.

¹ ИИ-агенты (agentic AI) — это тип систем на базе ИИ, способных действовать автономно. Они могут принимать самостоятельные решения, реагировать на изменения внешней среды и взаимодействовать с человеком или другими агентами для достижения поставленных целей.

² ИИ на периферийных устройствах (edge AI) — это совокупность методов и технологий, позволяющих выполнять вычисления, связанные с ИИ, на устройствах, находящихся в непосредственной близости от источника данных, без необходимости постоянного подключения к «облаку» или удаленному серверу.

³ Квантовый ИИ (quantum AI) — это направление на стыке квантовых вычислений и ИИ, которое использует принципы квантовой механики для потенциального ускорения вычислений и улучшения результатов по сравнению с классическими ИИ-системами.

⁴ DDoS-атака — вид кибератаки, при котором большое количество устройств одновременно отправляют большой объем сетевого трафика к целевому серверу или сети с целью перегрузить их ресурсы и вызвать отказ в обслуживании для легитимных пользователей.

⁵ Спуфинг — вид кибератаки, при которой злоумышленники подделывают сетевые данные с целью обмана систем или пользователей для получения доступа, перехвата информации или проведения других атак.

⁶ Атака типа «человек посередине» — вид кибератаки, при которой злоумышленники перехватывают данные между двумя сторонами, которые считают, что взаимодействуют друг с другом напрямую.

⁷ APT-группировки — киберпреступные группы, совершающие многоэтапные и тщательно спланированные атаки, направленные на конкретную отрасль экономики или группу отраслей.

Источник: Positive Technologies