ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ

Галлюцинации ИИ создают серьезные угрозы безопасности при принятии решений в сфере критически важной инфраструктуры, злоупотребляя доверием людей посредством выдачи крайне уверенных, но неверных результатов. Когда модель ИИ не уверена в своем ответе, у нее нет механизма, позволяющего это распознать. Вместо этого она генерирует наиболее вероятный ответ на основе закономерностей в обучающих данных, даже если этот ответ неточен. Такие результаты могут выглядеть авторитетно, что делает их особенно опасными при принятии решений, влияющих на реальную безопасность.

Согласно тесту AA-Omniscience от Artificial Analysis, оценка 40 моделей ИИ, проведенная в 2025 году, показала, что все тестируемые модели, за исключением четырех, с большей вероятностью давали уверенный, но неверный ответ на сложные вопросы, чем правильный. Поскольку ИИ играет все более важную роль в операциях по кибербезопасности, организации должны рассматривать каждый ответ, сгенерированный ИИ, как потенциальную уязвимость до тех пор, пока человек не проверит его.

Галлюцинации ИИ — это уверенно представленные, правдоподобно звучащие результаты, которые фактически неверны. Базовые языковые модели не извлекают проверенную информацию; они строят ответы, предсказывая слова и фразы на основе выученных шаблонов в своих обучающих данных. Поскольку их ответы статистически вероятны, но не обязательно верны, галлюцинированные результаты могут очень напоминать точную информацию. Во время галлюцинаций модели ИИ могут цитировать несуществующие источники, ссылаться на исследования, которые никогда не проводились, или представлять сфабрикованные данные с той же убедительностью, что и достоверную информацию.

Для организаций основная проблема, связанная с галлюцинациями ИИ, заключается не только в неточности, но и в необоснованном доверии. Когда результат работы ИИ звучит как абсолютная правда, сотрудники могут предположить, что он правильный, и действовать в соответствии с ним без проверки. В средах кибербезопасности некорректные результаты ИИ создают значительные риски для безопасности, поскольку они не только влияют на ключевые решения, но и напрямую поступают в автоматизированные системы, которые могут инициировать операционные действия. Результатами могут стать сбои в работе систем, финансовые потери и появление новых уязвимостей.

Первый шаг к смягчению последствий галлюцинаций ИИ — понимание того, как они возникают. Вот различные факторы, которые могут способствовать галлюцинациям ИИ:

Недостоверные обучающие данные: модели ИИ обучаются на данных, на которых они тренируются. Если эти данные содержат устаревшую информацию или явные ошибки, модель включит эти недочеты в свои результаты. Она не будет отмечать несоответствия; она будет учиться на них.

Предвзятость входных данных: Чрезмерное преобладание определенных шаблонов или сценариев может привести к тому, что модель ИИ будет рассматривать эти шаблоны как универсально применимые, даже если контекст отличается.

Отсутствие проверки ответов: базовые языковые модели не созданы для проверки фактической точности. Они оптимизированы для получения связных и правдоподобных результатов. Хотя некоторые системы добавляют уровни поиска или обоснования, чтобы снизить этот риск, основной процесс генерации остается уязвимым для галлюцинаций.

Неоднозначность запросов: Неясные входные данные увеличивают вероятность того, что модели ИИ будут заполнять пробелы предположениями, что повышает риск получения неверных результатов и галлюцинаций.

3 способа, которыми галлюцинации ИИ влияют на кибербезопасность

Не все галлюцинации ИИ имеют одинаковое влияние, но неверная или сфабрикованная информация может сделать организации уязвимыми перед серьезными киберугрозами. Три основных способа проявления галлюцинаций ИИ — это пропущенные угрозы, сфабрикованные угрозы и неверные решения.

Обнаружение угроз с помощью ИИ часто основано на выявлении паттернов и аномалий на основе исторических данных и изученного поведения. Когда кибератака соответствует известным моделям поведения, модель ИИ работает хорошо; но когда это не так, у модели нет ничего, с чем ее сравнить, поэтому угроза может остаться незамеченной. Это особенно проблематично для малораспространенных методов атак и атак «нулевого дня», которые используют уязвимости, неизвестные поставщику и, следовательно, не исправленные. Поскольку эти угрозы не отражены в обучающих данных, модели ИИ не хватает контекста для их выявления, что приводит к более высокой вероятности невыявленных уязвимостей и большей уязвимости среды.

В отличие от пропущенных угроз, модели ИИ могут также генерировать ложные срабатывания, ошибочно классифицируя нормальную активность как вредоносную и предупреждая команды об угрозах, которых не существует. Например, нормальный сетевой трафик может быть ошибочно интерпретирован как подозрительный, что вызовет оповещения, требующие ненужных действий по реагированию на инциденты. Эти ложные тревоги могут привести к отключению систем, растрате ресурсов и сбоям в работе из-за вымышленных угроз. Со временем повторяющиеся ложные срабатывания могут привести к «усталости от предупреждений», когда команды безопасности перестают реагировать на все предупреждения. Это увеличивает риск того, что реальные угрозы будут упущены в средах, где команды привыкли не доверять предупреждениям.

Это одна из самых опасных форм галлюцинаций ИИ, поскольку она возникает после того, как доверие уже установлено. Например, система ИИ может с уверенностью рекомендовать удаление конфиденциальных файлов, изменение системных настроек или отключение правил брандмауэра. Если эти действия будут выполнены, особенно через учетные записи с привилегированным доступом, они могут подвергнуть организации риску атак, основанных на подделке идентификационных данных, латерального перемещения или необратимой потери данных. Даже когда обнаружение угроз с помощью ИИ является точным, галлюцинационные рекомендации могут привести к эскалации локального инцидента безопасности в более масштабное нарушение.

Как организации могут снизить риски галлюцинаций ИИ

Хотя галлюцинации ИИ невозможно полностью исключить, их влияние можно значительно снизить с помощью следующих средств контроля и мер управления.

Результаты, сгенерированные ИИ, не должны инициировать конфиденциальные или привилегированные действия без предварительной проверки человеком. Это особенно важно для рабочих процессов, связанных с изменениями инфраструктуры, обновлениями доступа или реагированием на инциденты. Требование проверки должно применяться не только в тех случаях, когда что-то кажется неверным; модели могут звучать одинаково уверенно, независимо от того, правы они или нет.

Относитесь к обучающим данным как к активу безопасности

Галлюцинации ИИ часто связаны с обучающими данными. Регулярная проверка данных, используемых для обучения или обоснования систем ИИ, путем удаления устаревших записей, предвзятых наборов данных и неточной информации снижает вероятность появления этих недостатков в результатах. По мере того как контент, сгенерированный ИИ, становится все более распространенным в Интернете, возрастает риск того, что будущие модели будут обучаться на сфабрикованной информации, произведенной более ранними моделями, — явление, которое иногда называют «коллапсом модели». Без постоянного управления данными риск получения некорректных результатов ИИ только возрастает.

Обеспечьте доступ с минимальными привилегиями для систем ИИ

Системам на базе ИИ должны предоставляться только те разрешения, которые необходимы для выполнения их задач. Это может выглядеть так: системе ИИ разрешено только читать файлы, но не удалять их — даже если ей это предписывает вымышленная рекомендация. Ограничивая доступ с минимальными привилегиями, организации гарантируют, что даже если система ИИ сгенерирует неверные рекомендации, она не сможет выполнять действия, выходящие за рамки разрешенного.

Инвестируйте в обучение инженеров по разработке подсказок

Результаты ИИ в значительной степени зависят от качества входных данных, поэтому неясная подсказка дает модели больше возможностей заполнить пробелы неверными предположениями, что увеличивает риск галлюцинаций. Организации должны уделять приоритетное внимание обучению сотрудников, особенно тех, кто напрямую взаимодействует с системами ИИ, тому, как писать конкретные подсказки, которые побуждают модель генерировать проверяемые результаты. Сотрудники, понимающие, что результаты ИИ всегда должны проверяться перед использованием, с меньшей вероятностью будут по умолчанию считать систему ИИ авторитетной.

Поставьте безопасность идентификации в центр управления ИИ

Галлюцинации ИИ становятся реальными угрозами безопасности, когда они приводят к действиям, что является не столько проблемой модели, сколько проблемой доступа. Инциденты безопасности возникают, когда системы ИИ имеют достаточный доступ для выполнения действий на основе неверных указаний или когда человек доверяет результатам без проверки. Keeper® разработан для обеспечения организаций видимостью и средствами контроля доступа, необходимыми для предотвращения несанкционированного доступа, даже когда решения, основанные на ИИ, являются неверными. Обеспечивая доступ с минимальными привилегиями, отслеживая привилегированную активность и защищая как человеческие, так и нечеловеческие идентичности (NHI), организации могут снизить риск того, что галлюцинации ИИ превратятся в инциденты безопасности, наносящие ущерб.

Примечание: эта статья была тщательно написана и предоставлена для нашей аудитории Эшли Д'Андреа, автором контента в Keeper Security.