Согласно Anthropic, модель искусственного интеллекта Claude столкнулась с угрозой масштабной дистилляции в промышленных масштабах.

Издание Anthropic обнаружило три масштабные кампании по дистилляции моделей искусственного интеллекта. Эти сложные операции, организованные зарубежными лабораториями и направленные против Клода, были разработаны для систематического извлечения запатентованных возможностей и интеллектуальной собственности из передовой системы искусственного интеллекта.

Конкурирующие сущности сгенерировали более 16 миллионов взаимодействий используя приблизительно 24 000 мошеннических аккаунтовИх главной целью было приобретение запатентованной логики рассуждений Клода для усовершенствования собственных конкурирующих платформ искусственного интеллекта без вложения средств в независимые исследования и разработки.

🔍 Понимание атак с использованием дистилляции моделей ИИ

Методика экстракции, обычно называемая дистилляцияЭтот метод предполагает обучение менее совершенной системы искусственного интеллекта путем предоставления ей высококачественных результатов, полученных с помощью более совершенной модели. При использовании в легальных каналах дистилляция позволяет организациям разрабатывать более компактные и экономически эффективные версии приложений ИИ для коммерческого внедрения.

Однако, Злоумышленники используют эту технику в качестве оружия. Приобретение сложных возможностей за гораздо меньшее время и со значительно меньшими затратами по сравнению с самостоятельной разработкой.

🛡️ Угрозы интеллектуальной собственности и проблемы безопасности

Неконтролируемая дистилляция представляет собой критическая уязвимость интеллектуальной собственностиПоскольку компания Anthropic ограничивает коммерческий доступ в Китае из-за соображений национальной безопасности, злоумышленники обходят региональные ограничения, развертывая коммерческую прокси-инфраструктуру.

Эти сервисы работают в соответствии с тем, что компания Anthropic определяет как Архитектуры "гидракластеров"которые распределяют трафик между множеством API и сторонними облачными платформами. Масштаб этих сетей исключает наличие единых точек отказа. Как отметило издание Anthropic, «Когда блокируется один аккаунт, на его место создаётся новый».

В одном задокументированном случае единая прокси-сеть одновременно управляла более чем 20 000 мошеннических аккаунтовЭти сети стратегически смешивают трафик, обрабатываемый моделями искусственного интеллекта, с законными запросами клиентов, чтобы обойти системы обнаружения.

Это напрямую подрывает устойчивость компаний и вынуждает команды безопасности коренным образом пересмотреть свои подходы к мониторингу трафика облачных API.

⚠️ Последствия для национальной безопасности

Модели, прошедшие незаконное обучение, обходят установленные протоколы безопасности.это создает существенные риски для национальной безопасности. Например, американские разработчики внедряют меры защиты, чтобы предотвратить использование этих систем государственными и негосударственными субъектами для разработки биологического оружия или проведения вредоносных киберопераций.

Клонированные системы не обладают комплексными средствами защиты. Внедрение таких платформ, как Claude, позволяет распространять опасные возможности, полностью лишая их мер защиты. Иностранные конкуренты могут интегрировать эти незащищенные возможности в военную, разведывательную и наблюдательную инфраструктуру, что позволяет авторитарным правительствам использовать их для наступательных операций.

Если эти упрощенные версии будут выпущены в качестве открытого исходного кода, угроза многократно возрастет, поскольку возможности будут свободно распространяться за пределы регулирующего контроля какого-либо отдельного правительства.

Незаконная добыча ресурсов позволяет иностранным организациям, в том числе контролируемым Коммунистической партией Китая, осуществлять свою деятельность. подрывать конкурентное преимущество, защищаемое экспортным контролем.Без информации об этих атаках стремительные успехи иностранных разработчиков могут ошибочно восприниматься как подлинные инновации, позволяющие обойти экспортные ограничения.

В действительности эти достижения в значительной степени зависят от извлечения американской интеллектуальной собственности в промышленных масштабах — усилия, которые по-прежнему требуют доступа к передовым полупроводниковым чипам. Ограниченный доступ к чипам ограничивает как возможности прямого обучения моделей, так и масштабы незаконных операций по дистилляции.

📋 Руководство по проведению оперативных мероприятий в рамках дистилляционных процессов

Преступники следовали определенной схеме. последовательная операционная методологияИспользуя мошеннические учетные записи и прокси-сервисы для доступа к системам в больших масштабах, избегая при этом механизмов обнаружения, они демонстрировали значительное разнообразие, структуру и направленность своих запросов, что существенно отличалось от обычных моделей использования и отражало преднамеренное извлечение возможностей, а не законное использование.

Компания Anthropic приписала эти кампании следующим образом: Корреляция IP-адресов, анализ метаданных запросов и показатели инфраструктуры.Каждая операция была направлена ​​на выполнение узкоспециализированных функций: логическое мышление, использование инструментов и навыки программирования.

🎯 Кампания первая: Агентное программирование и оркестровка инструментов

Была создана одна кампания. более 13 миллионов обменов Целью Anthropic было выявление этой операции, еще находящейся в активной стадии, путем сопоставления времени ее проведения с публичной дорожной картой продукта конкурента. Когда Anthropic выпустила новую версию модели, конкурент изменил свою стратегию. 24 часаперенаправляя почти половину своего трафика на изучение возможностей новейшей системы.

🎯 Кампания вторая: Компьютерное зрение и анализ данных

Была сгенерирована еще одна операция. более 3,4 миллиона запросов Эта группа сосредоточилась на компьютерном зрении, анализе данных и агентном мышлении. Для сокрытия своих скоординированных действий она использовала сотни различных учетных записей. Компания Anthropic объяснила эту кампанию, сопоставив метаданные запросов с общедоступными профилями старших сотрудников зарубежной лаборатории. На последующем этапе конкурент попытался извлечь и восстановить внутренние следы рассуждений хост-системы.

🎯 Третья кампания: Способность к логическому мышлению и обход цензуры

В результате третьей кампании по дистилляции моделей ИИ были получены следующие результаты способности к рассуждению и данные об оценке на основе критериев. В результате более чем 150 000 взаимодействий эта группа заставила целевую систему пошагово отобразить свою внутреннюю логику, фактически сгенерировав огромные объемы обучающих данных, представляющих собой цепочки мыслей.

Они также извлекали защищенные от цензуры альтернативы политически чувствительным запросам, чтобы обучить свои системы направлять обсуждения в сторону от запрещенных тем. Злоумышленники генерировали синхронизированный трафик, используя идентичные шаблоны и общие способы оплаты, для обеспечения балансировки нагрузки.

Запрос метаданных для этой третьей кампании позволил отследить эти учетные записи до... конкретные исследователи в лабораторииЭти запросы часто кажутся безобидными по отдельности — например, просьба к системе выступить в роли эксперта по анализу данных, предоставляющего выводы, основанные на всестороннем логическом обосновании.

Однако, когда вариации этого же самого запроса поступают десятки тысяч раз В сотнях скоординированных учетных записей, нацеленных на одну и ту же узкую область применения, схема извлечения данных становится безошибочно узнаваемой.

Ключевые признаки атак на дистилляционные установки включают: Огромный объем информации, сконцентрированный в конкретных функциональных областях, высоко повторяющиеся структурные модели и контент, напрямую соответствующий требованиям к обучению.

🔐 Внедрение действенных стратегий защиты

Для защиты корпоративной среды необходимо внедрение многоуровневые защитные механизмы Чтобы усложнить выполнение задач по извлечению данных и упростить их идентификацию, компания Anthropic рекомендует внедрить поведенческую дактилоскопию и классификаторы трафика, специально разработанные для выявления закономерностей обработки данных моделями ИИ в трафике API.

ИТ-руководителям необходимо усилить процессы проверки. для распространенных путей уязвимости, в том числе:

• ✓ Регистрация образовательных аккаунтов
• ✓ Участники программы исследований в области безопасности
• ✓ Учетные данные стартап-организации

Организации должны интегрировать меры защиты на уровне продукта и на уровне API разработано для снижения эффективности результатов моделирования при незаконной дистилляции — без ухудшения качества обслуживания для законных платящих клиентов.

Выявление скоординированной активности в большом количестве учетных записей является одной из задач. абсолютная необходимостьЭто включает в себя, в частности, мониторинг непрерывного выявления результатов логической цепочки рассуждений, используемых для построения обучающих наборов данных для обучения навыкам рассуждения.

🤝 Межотраслевое сотрудничество и обмен информацией

Межотраслевое сотрудничество по-прежнему имеет важное значение.Поскольку эти атаки становятся все более интенсивными и изощренными, это требует быстрого и скоординированного обмена информацией между лабораториями искусственного интеллекта, поставщиками облачных услуг и политиками.

Журнал Anthropic опубликовал результаты своих исследований о том, что Клод стал объектом кампаний по оптимизации моделей искусственного интеллекта с целью получения... более полное представление о ландшафте угроз и предоставить эти доказательства всем заинтересованным сторонам.

Применяя строгий контроль доступа к архитектурам ИИ и внедряя комплексные системы мониторинга, специалисты по технологиям могут обеспечить себе конкурентное преимущество при этом обеспечивая непрерывное управление и соблюдение требований национальной безопасности.