NVIDIA и Google снижают затраты на выполнение задач искусственного интеллекта благодаря новой инфраструктурной технологии.

На конференции Google Cloud Next, Google и NVIDIA Компании представили свои планы развития аппаратного обеспечения, призванные решить проблему стоимости выполнения задач искусственного интеллекта в больших масштабах. Они подробно рассказали о новых решениях. Экземпляры A5X без операционной системыкоторые работают на стоечных системах NVIDIA Vera Rubin NVL72. Благодаря совместному проектированию аппаратного и программного обеспечения, эта архитектура призвана обеспечить до десяти раз меньшая стоимость вывода на токен по сравнению с предыдущими поколениями, одновременно достигая в десять раз более высокая пропускная способность токенов на мегаватт.

Для подключения тысяч процессоров требуется огромная пропускная способность, чтобы избежать задержек в обработке. Экземпляры A5X решают эту аппаратную проблему, объединяя процессоры в пары. Сетевые адаптеры NVIDIA ConnectX-9 SuperNIC с Технология сети Google VirgoДанная конфигурация масштабируется до 80 000 графических процессоров NVIDIA Rubin в пределах одного кластера сайтов и до 960 000 графических процессоров В условиях развертывания на нескольких площадках. Работа в таком масштабе требует сложного управления рабочей нагрузкой, поскольку маршрутизация данных между почти миллионом параллельных процессоров требует точной синхронизации во избежание простоя вычислительных ресурсов.

Марк Ломайер, вице-президент и генеральный директор подразделения искусственного интеллекта и вычислительной инфраструктуры Google Cloud, заявил: «В Google Cloud мы считаем, что следующее десятилетие развития ИИ будет определяться способностью клиентов запускать свои самые ресурсоемкие задачи на действительно интегрированной, оптимизированной для ИИ инфраструктуре. Объединяя масштабируемую инфраструктуру Google Cloud и управляемые сервисы ИИ с ведущими в отрасли платформами, системами и программным обеспечением NVIDIA, мы предоставляем клиентам гибкость в обучении, настройке и обслуживании всего, от передовых и открытых моделей до агентных и физических задач ИИ, оптимизируя при этом производительность, стоимость и устойчивость».

🔒 Требования к суверенному управлению данными и безопасности облачных вычислений

Помимо возможностей обработки сырья, управление данными остается одной из главных проблем при внедрении корпоративных решений. Секторы с высоким уровнем регулирования, включая... финансы и здравоохранениеЧасто это тормозит инициативы в области машинного обучения из-за требований к суверенитету данных и рисков раскрытия конфиденциальной информации.

Для выполнения этих требований по соблюдению нормативных актов, Модели Google Gemini работает Графические процессоры NVIDIA Blackwell и Blackwell Ultra В настоящее время они находятся в стадии предварительного тестирования в распределенном облаке Google. Этот метод развертывания позволяет организациям сохранять передовые модели полностью в контролируемой среде, наряду с наиболее конфиденциальными хранилищами данных.

Архитектура включает в себя NVIDIA Confidential ComputingЭтот протокол безопасности на аппаратном уровне гарантирует, что обучающие модели работают в защищенной среде, где подсказки и данные для тонкой настройки остаются зашифрованными. Шифрование предотвращает просмотр или изменение базовых данных неавторизованными лицами, включая самих операторов облачной инфраструктуры.

Для многопользовательских облачных сред доступен предварительный просмотр. Конфиденциальные виртуальные машины G4 оснащенный Видеокарты NVIDIA RTX PRO 6000 Blackwell Вводит те же самые криптографические средства защиты, предоставляя регулируемым отраслям доступ к высокопроизводительному оборудованию без нарушения стандартов конфиденциальности данных. Этот релиз представляет собой первое облачное решение для конфиденциальных вычислений на базе графических процессоров NVIDIA Blackwell.

⚙️ Операционные издержки при обучении ИИ-агента

Создание многоступенчатых агентных систем требует соединения больших языковых моделей со сложными интерфейсами прикладного программирования, поддержания непрерывной синхронизации векторных баз данных и активного предотвращения алгоритмических ошибок во время выполнения.

Для упрощения этой сложной инженерной задачи, NVIDIA Nemotron 3 Super Теперь доступно на Платформа корпоративных агентов GeminiПлатформа предоставляет разработчикам инструменты для настройки и развертывания моделей логического мышления и мультимодальных моделей, специально разработанных для задач, связанных с агентным программированием. Более широкая платформа NVIDIA в Google Cloud оптимизирована для различных моделей, включая Семейства компаний Google Gemini и Gemma—предоставляя разработчикам инструменты для создания систем, которые рассуждают, планируют и действуют.

Обучение этих моделей в больших масштабах влечет за собой значительные операционные издержки, особенно при управлении размером кластера и сбоями оборудования во время длительных циклов обучения с подкреплением.

Google Cloud и NVIDIA представили Управляемые учебные кластеры на платформе Gemini Enterprise Agent Platform, которая включает в себя управляемый API для обучения с подкреплением, созданный с использованием NVIDIA NeMo RLЭта система автоматизирует определение размера кластера, восстановление после сбоев и выполнение заданий, позволяя командам специалистов по анализу данных сосредоточиться на качестве моделей, а не на управлении инфраструктурой на низком уровне.

CrowStrike активно использует открытые библиотеки NVIDIA NeMo, в том числе NeMo Data Designer и Мост НеМо Мегатрондля генерации синтетических данных и тонкой настройки моделей для специализированных приложений в области кибербезопасности. Запуск этих моделей на управляемых обучающих кластерах с графическими процессорами Blackwell ускоряет их возможности автоматического обнаружения угроз и реагирования на них.

🏭 Интеграция устаревшей архитектуры и физическое моделирование

Интеграция машинного обучения в тяжелую промышленность и производство представляет собой совершенно иной класс инженерных задач. Для соединения цифровых моделей с физическими производственными площадками требуются точные физические симуляции, огромные вычислительные мощности и стандартизация устаревших форматов данных. Инфраструктура искусственного интеллекта NVIDIA и физические библиотеки искусственного интеллекта Теперь они доступны в Google Cloud, предоставляя организациям основу для моделирования и автоматизации реальных производственных процессов.

Крупные поставщики промышленного программного обеспечения, такие как Cadence и Siemens— разместили свои решения в Google Cloud, ускоренные инфраструктурой NVIDIA. Эти инструменты используются в проектировании и производстве тяжелой техники, аэрокосмических платформ и беспилотных автомобилей.

Производственные фирмы часто используют устаревшие системы управления жизненным циклом продукции, что затрудняет перевод геометрических и физических данных. Используя эти системы, можно добиться успеха. Библиотеки NVIDIA Omniverse и открытый исходный код NVIDIA Isaac Sim framework С помощью Google Cloud Marketplace разработчики могут обойти некоторые из этих проблем с переводом, чтобы создавать физически точные цифровые двойники и обучать конвейеры моделирования робототехники до физического развертывания.

Развертывание Микросервисы NVIDIA NIMнапример, Модель Cosmos Reason 2, к Google Vertex AI и Google Kubernetes Engine Это позволяет агентам и роботам, использующим компьютерное зрение, интерпретировать и ориентироваться в окружающей физической среде. Вместе эти платформы помогают разработчикам перейти от автоматизированного проектирования непосредственно к созданию «живых» цифровых двойников промышленных объектов.

📊 Влияние на всю экосистему ускоренных вычислений

Для преобразования этих аппаратных характеристик в измеримую финансовую отдачу необходимо проанализировать, как первые пользователи используют инфраструктуру. Широкий портфель включает в себя варианты, масштабируемые от... полноразмерные стойки NVL72 до дробные виртуальные машины G4 Предлагая всего одну восьмую часть графического процессора. Это позволяет клиентам точно настраивать возможности ускорения для задач анализа и обработки данных, в которых участвуют специалисты разных областей.

Лаборатория мыслящих машин масштабирует свой API Tinker на виртуальных машинах A4X Max для ускорения обучения. OpenAI Использует крупномасштабные вычисления на системах NVIDIA GB300 и GB200 NVL72 в Google Cloud для обработки ресурсоемких задач, включая операции ChatGPT.

Щелчок Компания перевела свои конвейеры обработки данных на Spark с ускорением на графических процессорах в Google Cloud, чтобы сократить значительные затраты, связанные с крупномасштабным A/B-тестированием. В фармацевтическом секторе... Шрёдингер Компания использует ускоренные вычисления NVIDIA в облаке Google для сокращения времени моделирования процесса разработки лекарств, которое ранее занимало недели, до нескольких часов.

Экосистема разработчиков, масштабирующая эти инструменты, быстро расширяется. Более 90 000 разработчиков В течение года присоединился к объединенному сообществу разработчиков NVIDIA и Google Cloud.

Стартапы, подобные CodeRabbit и Фабрика Применять модели на основе NVIDIA Nemotron в Google Cloud для проведения анализа кода и запуска автономных агентов разработки программного обеспечения. Aible, Mantis AI, Photoroom и Baseten Создавайте корпоративные решения для обработки данных, видеоаналитики и генеративной графики, используя полнофункциональную платформу.

Вместе, NVIDIA и Google Cloud Цель состоит в том, чтобы создать вычислительную базу, предназначенную для внедрения экспериментальных агентов и симуляций в производственные системы, обеспечивающие безопасность автопарков и оптимизирующие работу заводов в физическом мире.