Вне

Чат

запрещать

Wan 2.2 14B Animate Replace

Это позволяет плавно заменять людей в существующих видеоматериалах, сохраняя естественные движения, выражения лиц и освещение сцены.

Новые участники получат бесплатные токены номиналом 1 доллар.

Text to Speech

Javascript

Python

                                        const main = async () => {
  const response = await fetch('https://api.ai.cc/v2/video/generations', {
    method: 'POST',
    headers: {
      Authorization: 'Bearer ',
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: 'alibaba/wan2.2-14b-animate-replace',
      prompt: 'Mona Lisa puts on glasses with her hands.',
      video_url: 'https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4',
      image_url: 'https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg',
      resolution: "720p",
    }),
  }).then((res) => res.json());

  console.log('Generation:', response);
};

main()

                                        import requests


def main():
    url = "https://api.ai.cc/v2/video/generations"
    payload = {
        "model": "alibaba/wan2.2-14b-animate-replace",
        "prompt": "Mona Lisa puts on glasses with her hands.",
        "video_url": "https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4",
        "image_url": "https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg",
        "resolution": "720p",
    }
    headers = {"Authorization": "Bearer ", "Content-Type": "application/json"}

    response = requests.post(url, json=payload, headers=headers)
    print("Generation:", response.json())


if __name__ == "__main__":
    main()

Docs

Один API, более 300 моделей ИИ.

Сэкономьте 20% на расходах и получите бесплатные токены на 1 доллар.

Получить ключ API Изучите модели

Wan 2.2 14B Animate Replace

Подробная информация о товаре

Он Wan 2.2 14B Animate Replace эта модель представляет собой прорыв в Создание видео с помощью ИИспециально разработан для точной замена символов В рамках существующего видеоматериала. Эта усовершенствованная модель превосходно сохраняет основные элементы оригинального видео — сцену, фон, ракурсы камеры и точную синхронизацию — при этом плавно заменяя оригинального человека новым персонажем, созданным на основе одной эталонной фотографии. Пользователи могут выбирать между заменой только лица или заменой всего тела, сохраняя при этом оригинальные позы и обеспечивая идеально синхронизированные движения губ.

Технические характеристики

✨ Размер модели: 14 миллиардов параметров обеспечивают работу основной сети генерации электроэнергии.
🧠 Архитектура: Надежный видеогенератор на основе диффузионного трансформатора, созданный с использованием опыта квалифицированных специалистов для повышения производительности и эффективности вычислений.
🌌 Обработка скрытого пространства: Использует специально разработанный 3D причинно-следственный вариационный автокодировщик (VAE) (~127 млн параметров) для пространственно-временного сжатия скрытого видео.
🕰️ Причинно-следственная связь: Временная причинно-следственная связь гарантирует, что будущие кадры не влияют на прошлые, что приводит к стабильному и согласованному генерированию движения.
👁️ Механизм внимания: Совокупное пространственно-временное самовнимание по кадрам и пикселям видео.
✍️ Кондиционирование: Перекрестное внимание к текстовым характеристикам с помощью кодировщика T5 для опционального управления на основе текста.
📥 Ввод: Требуется одно эталонное изображение (для идентификации) и эталонное видео (для отслеживания движения).
📤 Результат: Создает видеоролик с замененным персонажем, который воспроизводится в разрешении 720p со скоростью 24 кадра в секунду.

Показатели производительности

🖼️ Качество видео: Обеспечивает высококачественную замену персонажей с удивительно плавными движениями и естественной мимикой.
📏 Разрешение и частота кадров: Стабильно поддерживает разрешение 720p при 24 кадрах в секунду.
⚡ Задержка: Скорость локальной генерации зависит от графического процессора; графические процессоры H100 обеспечивают значительно более высокую скорость вывода по сравнению с графическими процессорами потребительского класса.
📉 Ресурсоэффективность: Инновационная архитектура, сочетающая в себе работу экспертов, повышает производительность модели без пропорционального увеличения вычислительных затрат.

Основные характеристики

👤 Замена символов: Легко замените оригинального человека в видео на нового, используя всего одно эталонное изображение.
🎭 Полная или частичная замена: Выберите желаемый уровень замены – от замены только лица до полной замены всего тела.
🕺 Сохранение позы и выражения лица: Сохраняет целостность оригинальных поз тела, движений головы и синхронизации губ для невероятно естественной анимации.
🏞️ Согласованность сцен: Гарантирует, что фон, ракурсы камеры, освещение и хронометраж останутся идеально неизменными.
🌟 Высокий реализм: Использует отслеживание движений на основе скелета и точное кодирование мимики для создания плавных и высокореалистичных анимаций.
💻 Локальное развертывание: Способен работать локально с соответствующими аппаратными конфигурациями, обеспечивая генерацию высококачественного выходного результата.

Цены на API

480p: 0,042 доллара
580p: 0,063 долл.
720p: 0,084 доллара

Варианты использования

📈 Маркетинг и реклама: Динамическая замена персонажей в видеороликах для создания привлекательного маркетингового и рекламного контента.
✨ Виртуальные инфлюенсеры: Создание виртуальных инфлюенсеров и аватаров с реалистичной имитацией мимики в реальном времени.
🎬 Производство фильмов и видеороликов: Оптимизируйте предварительную визуализацию и пересъемку фильмов и видео без необходимости повторной съемки.
🎨 Персонализированный контент: Создавайте персонализированный пользовательский контент с участием уникальных персонажей.
📱 Анимация для социальных сетей: Анимируйте фотографии для создания привлекательных постов в социальных сетях и развлекательного контента.
📚 Образовательный контент: Создавайте персонализированные образовательные и обучающие видеоролики с участием персонажей, разработанных специально для вас.
🔒 Сохранение конфиденциальности: Для повышения уровня конфиденциальности при создании контента, содержащего конфиденциальную информацию, замените лица на существующих видеоматериалах.
🎭 Цифровые эффекты: Содействовать созданию цифровых эффектов и дипфейков, уделяя особое внимание этическому контролю.

Пример кода

          data-name ="alibaba.create-video-to-video-generation" data-model ="alibaba/wan2.2-14b-animate-replace" >      

Сравнение с другими моделями

Сравнение со стабильным видео диффузии: Wan 2.2 Анимировать Замена Основное внимание уделяется полной замене персонажей в видеороликах, обеспечивая целостную передачу выразительности и движения. Эта возможность превосходит стандартные расширения Stable Diffusion, которые обычно ограничены генерацией коротких клипов и часто демонстрируют менее стабильный временной контроль. Кроме того, Wan 2.2 может обрабатывать более длинные видеоролики (до нескольких минут), что является значительным преимуществом по сравнению с обычно более короткими выходными файлами моделей Stable Diffusion.

vs. Видеоизображение (Google): Imagen Video в основном ориентирован на создание видеороликов из текстовых подсказок с высоким визуальным качеством, но он не предлагает встроенных функций замены символов. Wan 2.2 Animate Replace's Уникальное торговое предложение заключается в объединении режимов анимации и замены, обеспечивающем детальный контроль над выражениями лица и движением, что специально разработано для рабочих процессов, ориентированных на персонажей.

vs Meta Make-A-Video: Хотя Make-A-Video создает короткие видеоролики из текста, ему не хватает целевой замены символов, которая есть в других подобных сервисах. Wan 2.2 Анимировать Замена Wan 2.2 специализируется на замене персонажей с точной синхронизацией позы и губ в существующих видеороликах, что делает его более практичным для постпродакшена и видеомонтажа, в отличие от Make-A-Video, ориентированного на создание общих сцен.

Интеграция API

Wan 2.2 Анимировать Замена Доступен через API для ИИ/машинного обучения. Подробная документация имеется. доступно здесь.

Часто задаваемые вопросы (FAQ)

Что такое Wan 2.2 14B Animate Replace?

Wan 2.2 14B Animate Replace — это продвинутая модель генерации видео на основе искусственного интеллекта, предназначенная для точной замены персонажей в существующих видеороликах. Она интеллектуально сохраняет сцену, фон, ракурсы камеры и синхронизацию исходного видео, одновременно интегрируя нового персонажа из эталонного изображения.

Можно ли заменить только лицо или всё тело?

Да, модель предлагает гибкость. Вы можете заменить только лицо оригинального персонажа или выбрать полную замену тела, при этом оба варианта сохранят оригинальные позы тела и синхронизацию губ для естественной анимации.

Как WAN 2.2 обеспечивает стабильность видеосигнала после замены?

Модель разработана таким образом, чтобы обеспечить согласованность сцены за счет сохранения оригинального фона, ракурсов камеры, условий освещения и синхронизации. Она сосредоточена исключительно на замене персонажа, сохраняя при этом все остальные элементы видео.

Каковы основные области применения этой технологии замены символов?

Ключевые области применения включают замену персонажей в видеороликах для рекламы, создание виртуальных инфлюенсеров и аватаров, предварительную визуализацию фильмов, персонализированный контент, создаваемый пользователями, настройку образовательных видеороликов и создание контента с сохранением конфиденциальности.

Возможно ли локальное развертывание для Animate Replace в WAN 2.2?

Да, Wan 2.2 14B Animate Replace можно развернуть и запустить локально при наличии соответствующей аппаратной конфигурации. Это позволяет генерировать высококачественные выходные данные непосредственно на вашей собственной инфраструктуре.

Игровая площадка для ИИ

Перед интеграцией протестируйте все модели API в тестовой среде. Мы предоставляем более 300 моделей для интеграции в ваше приложение.

Попробуйте бесплатно

Один API
Более 300 моделей ИИ

Сэкономьте 20% на расходах