Fora

Bater papo

desativar

Wan 2.2 14B Animar Movimento

Desenvolvida pela Alibaba como parte da família Wan 2.2, é amplamente utilizada para avatares de IA, influenciadores virtuais e aceleração da produção de animações.

Tokens de $1 grátis para novos membros

Text to Speech

Javascript

Python

                                        const main = async () => {
  const response = await fetch('https://api.ai.cc/v2/video/generations', {
    method: 'POST',
    headers: {
      Authorization: 'Bearer ',
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: 'alibaba/wan2.2-14b-animate-move',
      prompt: 'Mona Lisa puts on glasses with her hands.',
      video_url: 'https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4',
      image_url: 'https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg',
      resolution: "720p",
    }),
  }).then((res) => res.json());

  console.log('Generation:', response);
};

main()

                                        import requests


def main():
    url = "https://api.ai.cc/v2/video/generations"
    payload = {
        "model": "alibaba/wan2.2-14b-animate-move",
        "prompt": "Mona Lisa puts on glasses with her hands.",
        "video_url": "https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4",
        "image_url": "https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg",
        "resolution": "720p",
    }
    headers = {"Authorization": "Bearer ", "Content-Type": "application/json"}

    response = requests.post(url, json=payload, headers=headers)
    print("Generation:", response.json())


if __name__ == "__main__":
    main()

Docs

Uma API com mais de 300 modelos de IA

Economize 20% nos custos e ganhe tokens grátis de $1.

Obter chave de API Explorar modelos

Wan 2.2 14B Animar Movimento

Detalhes do produto

O Wan 2.2 14B Animar Movimento É um modelo de geração de vídeo com IA de última geração e em larga escala, projetado especificamente para animar imagens estáticas de personagens com controle incomparável. Ele dá vida a fotos estáticas, transferindo movimentos e expressões complexas de um vídeo de referência, tornando-se uma ferramenta indispensável para criadores.

Os usuários podem facilmente carregar uma imagem estática de um personagem e um vídeo do Drive contendo os movimentos desejados. O sistema extrai poses e máscaras de forma inteligente e, em seguida, anima o personagem. Em sua forma primária Modo de animação, cria um vídeo totalmente novo onde o personagem estático imita com precisão os gestos e ângulos do vídeo original, produzindo conteúdo animado altamente realista e envolvente.

⚙️ Especificações Técnicas

Tamanho do modelo: 14 bilhões de parâmetros (espinha dorsal da geração)
Arquitetura: Modelo de transformador de difusão com Mistura de Especialistas (MoE) Projeto para aumentar a capacidade sem custos computacionais adicionais.
Objetivo do treinamento: Correspondência de fluxo com redução de ruído por difusão em um espaço latente espaço-temporal 3D compacto.
Mecanismo de atenção: Agrupamento de autoatenção espaço-temporal entre quadros e pixels, além de atenção cruzada a características de texto (opcional).
Entradas: Imagem de referência (foto estática do personagem) + Vídeo de referência (movimento).
Saída: Alta qualidade Vídeos em 720p a 24 fps Com animação de personagens que replica os movimentos e expressões do vídeo de referência.

📈 Indicadores de desempenho

Compatibilidade com GPUs: Testado com sucesso em GPUs de ponta como a NVIDIA H100 (80 GB), com VRAM recomendada de aproximadamente 75 GB para sequências prolongadas.
Qualidade da saída: Capaz de produzir vídeos coerentes e de alta qualidade com movimentos e expressões de personagens de aparência natural.
Preservação da identidade: Demonstra preservação robusta da identidade a partir de uma única imagem de referência durante a transferência de movimento dinâmico.
Ambiente: Otimizado para Ubuntu e ambientes com suporte a CUDA, utilizando as versões mais recentes do PyTorch.
Extensão do conteúdo: Lida eficazmente com durações de vídeo adequadas para vídeos de redes sociais e conteúdo animado curto.

✨ Principais características

Transferência de movimento precisa: Anima imagens estáticas usando movimento ao vivo de vídeos de referência, transferindo com precisão tanto as expressões corporais quanto as faciais.
Arquitetura eficiente: A arquitetura Mixture-of-Experts permite lidar com movimentos complexos e mapeamento de expressões detalhadas sem custo computacional adicional.
Estabilidade Temporal: Alta estabilidade temporal em movimento graças a um método de compressão 3D causal, que evita artefatos causados por vazamento de quadros futuros.
Integração realista: Permite a integração realista de personagens animados com o ambiente, controlando a iluminação e a cor para que combinem dinamicamente com os fundos.
Saída de alta qualidade: Proporciona uma experiência suave Saída de 24 fps em resolução HD 720p para plataformas de mídias sociais e criação de conteúdo.
Inferência em tempo real: Oferece um fluxo de trabalho prático de inferência local em tempo real por meio de uma interface amigável. Interface integrada.

💲 Preços da API

480p: $ 0,042
580p: $ 0,063
720p: $ 0,084

💡 Casos de uso

Mídias sociais e conteúdo digital: Criação de vídeos animados a partir de imagens estáticas de personagens para uma presença online envolvente.
Animação de Avatares e Personagens Virtuais: Geração de movimentos e expressões realistas para avatares e personagens virtuais em jogos ou metaversos.
Substituição de personagens com inteligência artificial: Substituição de personagens em vídeos existentes com fidelidade de movimento controlável.
Prototipagem de animação: Prototipagem e iteração rápidas de animações com recursos de inferência local em GPU.
Capacitando Criadores: Permitir que criadores de conteúdo e animadores com habilidades mínimas em animação manual produzam animações de nível profissional.

🔍 Comparação com outros modelos

Ao avaliar soluções de animação com IA, é crucial entender como o Wan 2.2 14B Animate Move se destaca:

vs FLUX.1 Kontext [dev]: O Wan 2.2 oferece transferência de movimento profundo com modelagem temporal causal, destacando-se na preservação da identidade e no fluxo natural. Em contraste, FLUX.1 Kontext [dev] Concentra-se mais no controle de consistência de peso aberto, adaptado para fluxos de trabalho de animação personalizados.
vs Adobe Animate: O ponto forte do Wan 2.2 reside na animação espontânea com inteligência artificial a partir de dados de movimento ao vivo, especificamente para rostos e corpos de personagens. Isso contrasta com Adobe Animate's Ferramentas tradicionais de animação quadro a quadro e vetorial que dependem muito da intervenção manual do designer.
vs FLUX.1 Kontext Max: A WAN 2.2 é otimizada para geração de vídeo 720p de alta qualidade com transferência de movimento suave para videoclipes compactos. FLUX.1 Kontext Max, no entanto, visa a precisão de nível empresarial e sequências animadas longas e complexas, frequentemente necessárias em produções de estúdio.
vs Animador: O Wan 2.2 é tecnicamente avançado, com transferência de pose e expressão orientada por IA, gerando vídeo totalmente dinâmico a partir de uma única imagem. Animador É voltado para iniciantes, com animação do tipo "arrastar e soltar" baseada em modelos e personalização de movimento limitada.

🔌 Integração de API

Wan 2.2 14B Animate Move é acessível através da API de IA/ML. A documentação completa pode ser encontrada aqui. disponível aqui.

❓ Perguntas frequentes (FAQ)

O que é Wan 2.2 14B Animate Move?

É um modelo avançado de IA projetado para gerar vídeos animados, transferindo movimentos e expressões de um vídeo de referência para uma imagem estática de um personagem. Ele dá vida a fotos estáticas com movimentos dinâmicos.

Em que difere dos softwares de animação tradicionais?

Diferentemente dos softwares tradicionais que exigem entrada manual quadro a quadro ou por quadros-chave, o Wan 2.2 utiliza IA para extrair automaticamente o movimento de vídeos ao vivo e aplicá-lo a uma imagem estática, reduzindo significativamente o esforço e a habilidade necessários para a animação.

Que tipo de qualidade de saída posso esperar?

O modelo gera vídeos de alta qualidade em 720p a 24 quadros por segundo (fps) com movimentos e expressões de personagens de aparência natural, garantindo uma preservação robusta da identidade da imagem estática original.

É adequado para uso profissional?

Sim, suas capacidades de transferência de movimento realista, alta estabilidade temporal e saída em HD o tornam ideal para criadores de conteúdo, animadores e desenvolvedores que buscam produzir conteúdo animado de nível profissional para mídias sociais, personagens virtuais e prototipagem rápida.

Quais são os requisitos técnicos para executar este modelo?

Para sequências extensas, recomenda-se o uso de GPUs de alto desempenho, como a NVIDIA H100 (80 GB) com aproximadamente 75 GB de VRAM. O programa é otimizado para Ubuntu e ambientes com suporte a CUDA, utilizando as versões mais recentes do PyTorch e oferecendo inferência local em tempo real por meio de uma interface Gradio.

Playground de IA

Teste todos os modelos de API no ambiente de sandbox antes de integrá-los. Oferecemos mais de 300 modelos para integrar ao seu aplicativo.

Experimente grátis

Uma API
Mais de 300 modelos de IA

Economize 20% nos custos