ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ

В понедельник компания Anthropic заявила, что выявила «промышленные кампании», организованные тремя компаниями, занимающимися искусственным интеллектом (ИИ) — DeepSeek, Moonshot AI и MiniMax — с целью незаконного извлечения возможностей Claude для улучшения своих собственных моделей.

Атаки по дистилляции привели к более чем 16 миллионам обменов с ее большой языковой моделью (LLM) через около 24 000 мошеннических учетных записей в нарушение условий обслуживания и региональных ограничений доступа. Все три компании базируются в Китае, где использование ее услуг запрещено из-за «правовых, нормативных и безопасности рисков».

Дистилляция — это техника, при которой менее мощная модель обучается на результатах, сгенерированных более мощной системой искусственного интеллекта. Хотя дистилляция является законным способом для компаний создавать более компактные и дешевые версии своих собственных передовых моделей, конкурентам незаконно использовать ее для приобретения таких возможностей у других компаний, занимающихся искусственным интеллектом, за гораздо меньшее время и с меньшими затратами, чем если бы они разрабатывали их самостоятельно.

«Незаконно дистиллированные модели не имеют необходимых мер безопасности, что создает значительные риски для национальной безопасности», — заявила компания Anthropic. «Модели, построенные с помощью незаконной дистилляции, вряд ли сохранят эти меры безопасности, а это означает, что опасные возможности могут распространяться без многих мер защиты».

Иностранные компании, занимающиеся искусственным интеллектом, которые дистиллируют американские модели, могут использовать эти незащищенные возможности для содействия злонамеренной деятельности, связанной с киберпространством или иной, тем самым служа основой для военных, разведывательных и наблюдательных систем, которые авторитарные правительства могут развернуть для наступательных киберопераций, дезинформационных кампаний и массового наблюдения.

Кампании, подробно описанные AI upstart, предполагают использование мошеннических учетных записей и коммерческих прокси-сервисов для получения масштабного доступа к Claude, избегая при этом обнаружения. Anthropic заявила, что смогла отнести каждую кампанию к конкретной лаборатории ИИ на основе метаданных запросов, корреляции IP-адресов, метаданных запросов и индикаторов инфраструктуры.

Ниже приведены подробности трех атак дистилляции.

DeepSeek, которая была нацелена на способности Claude к рассуждению, задачи оценки на основе рубрик и искала его помощь в генерации безопасных для цензуры альтернатив политически чувствительным запросам, таким как вопросы о диссидентах, лидерах партий или авторитаризме, в более чем 150 000 обменах.

Moonshot AI, которая была направлена на способности Claude к агентному мышлению и использованию инструментов, кодированию, разработке агентов для использования компьютеров и компьютерному зрению в более чем 3,4 миллионах обменов.

MiniMax, который был нацелен на способности Claude к кодированию и использованию инструментов в более чем 13 миллионах обменов.

«Объем, структура и направленность запросов отличались от обычных моделей использования, что свидетельствовало о намеренном извлечении возможностей, а не о законном использовании», — добавила Anthropic. «Каждая кампания была направлена на наиболее отличительные возможности Claude: агентное мышление, использование инструментов и кодирование».

Компания также указала, что атаки опирались на коммерческие прокси-сервисы, которые перепродают доступ к Claude и другим передовым моделям ИИ в больших масштабах. Эти сервисы работают на архитектуре «гидра-кластера», которая содержит огромные сети мошеннических учетных записей для распределения трафика по их API.

Затем доступ используется для генерации больших объемов тщательно составленных запросов, которые предназначены для извлечения определенных возможностей из модели с целью обучения собственных моделей путем сбора высококачественных ответов.

«Широта этих сетей означает, что нет единых точек отказа», — заявила Anthropic. «Когда одна учетная запись заблокирована, на ее место приходит новая. В одном случае одна прокси-сеть одновременно управляла более чем 20 000 мошеннических учетных записей, смешивая трафик дистилляции с не связанными запросами клиентов, чтобы затруднить обнаружение».

Чтобы противостоять этой угрозе, Anthropic заявила, что создала несколько классификаторов и систем поведенческого отпечатывания для выявления подозрительных паттернов дистилляционных атак в трафике API, усилила проверку образовательных учетных записей, программ исследований в области безопасности и стартап-организаций, а также внедрила усовершенствованные меры защиты для снижения эффективности результатов модели для незаконной дистилляции.

Это сообщение появилось через несколько недель после того, как Google Threat Intelligence Group (GTIG) объявила, что выявила и пресекла атаки дистилляции и извлечения моделей, направленные на возможности Gemini по рассуждению, с помощью более 100 000 подсказок.

«Атаки по извлечению и дистилляции моделей, как правило, не представляют риска для обычных пользователей, поскольку не угрожают конфиденциальности, доступности или целостности сервисов искусственного интеллекта», — заявила Google в начале этого месяца. «Вместо этого риск сосредоточен среди разработчиков моделей и поставщиков услуг».