OpenAI - ChatGPT, Sora
Google - Gemini, Nano Banana
Anthropique - Claude
xAI - Grok
Recherche profonde
Alibaba - Qwen
ByteDance - Le meilleur de ByteDance
Tous les modèles
Plans d'entreprise
Développement d'applications d'IA
API de traduction IA
Service SEO/GEO IA
Service de relations publiques géo-optimisé
Service de web scraping
Meilleurs outils d'IA
Les meilleurs robots IA
Se connecter
const main = async () => {
const response = await fetch('https://api.ai.cc/v2/video/generations', {
method: 'POST',
headers: {
Authorization: 'Bearer ',
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: 'alibaba/wan2.2-14b-animate-replace',
prompt: 'Mona Lisa puts on glasses with her hands.',
video_url: 'https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4',
image_url: 'https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg',
resolution: "720p",
}),
}).then((res) => res.json());
console.log('Generation:', response);
};
main()
import requests
def main():
url = "https://api.ai.cc/v2/video/generations"
payload = {
"model": "alibaba/wan2.2-14b-animate-replace",
"prompt": "Mona Lisa puts on glasses with her hands.",
"video_url": "https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4",
"image_url": "https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg",
"resolution": "720p",
}
headers = {"Authorization": "Bearer ", "Content-Type": "application/json"}
response = requests.post(url, json=payload, headers=headers)
print("Generation:", response.json())
if __name__ == "__main__":
main()
Détails du produit
Le Wan 2.2 14B Animate Remplacer ce modèle représente une avancée majeure dans génération vidéo par IAspécialement conçu pour une précision optimale remplacement de caractères Ce modèle avancé permet d'intégrer la personne d'origine à une vidéo existante. Il préserve les éléments intrinsèques de la vidéo originale (scène, arrière-plan, angles de caméra et minutage précis) tout en remplaçant harmonieusement le personnage par un nouveau, créé à partir d'une simple photo de référence. L'utilisateur peut choisir de remplacer uniquement le visage ou d'effectuer un remplacement complet du corps, tout en conservant les poses originales et en assurant une synchronisation labiale parfaite.
Spécifications techniques
- ✨ Taille du modèle : 14 milliards de paramètres alimentant l'épine dorsale de la production.
- 🧠 Architecture : Un générateur vidéo Diffusion Transformer robuste, doté d'une conception combinant plusieurs experts pour une capacité accrue et un calcul efficace.
- 🌌 Traitement de l'espace latent : Utilise un auto-encodeur variationnel causal 3D (VAE) personnalisé (~127 millions de paramètres) pour la compression vidéo latente spatio-temporelle.
- 🕰️ Causalité : La causalité temporelle garantit que les images futures n'influencent pas les images passées, ce qui permet une génération de mouvement stable et cohérente.
- 👁️ Mécanisme d'attention : Auto-attention spatio-temporelle mise en commun à travers les images et les pixels vidéo.
- ✍️ Conditionnement : Attention croisée aux caractéristiques du texte via un encodeur T5 pour un contrôle optionnel piloté par le texte.
- 📥 Entrée : Nécessite une seule image de référence (pour l'identification) et une vidéo de référence (pour le mouvement).
- 📤 Résultat : Génère une vidéo avec le personnage remplacé, diffusée en résolution 720p à 24 images par seconde.
Indicateurs de performance
- 🖼️ Qualité vidéo : Offre un remplacement de personnages haute fidélité avec des mouvements remarquablement fluides et des expressions faciales naturelles.
- 📏 Résolution et fréquence d'images : Prend en charge de manière constante la résolution 720p à 24 images par seconde.
- ⚡ Latence : La vitesse de génération locale dépend du GPU ; les GPU H100 offrent une inférence nettement plus rapide que les GPU grand public.
- 📉 Efficacité des ressources : L'architecture innovante combinant plusieurs experts augmente la capacité du modèle sans augmentation proportionnelle du coût de calcul.
Caractéristiques principales
- 👤 Remplacement de personnage : Remplacez sans effort la personne d'origine dans une vidéo par une nouvelle en utilisant une simple image de référence.
- 🎭 Remplacement total ou partiel : Choisissez le niveau de remplacement souhaité – du simple visage à une substitution complète du corps.
- 🕺 Préservation de la pose et de l'expression : Préserve l'intégrité des poses corporelles originales, des mouvements de la tête et de la synchronisation labiale pour une animation incroyablement naturelle.
- 🏞️ Cohérence de la scène : Garantit que l'arrière-plan, les angles de caméra, l'éclairage et le timing restent parfaitement intacts.
- 🌟 Réalisme élevé : Utilise le suivi de mouvement basé sur le squelette et un encodage facial précis pour produire des animations fluides et très réalistes.
- 💻 Déploiement local : Capable de fonctionner localement avec des configurations matérielles appropriées, prenant en charge la génération d'une sortie de haute qualité.
Tarification de l'API
- 480p : 0,042 $
- 580p : 0,063 $
- 720p : 0,084 $
Cas d'utilisation
- 📈 Marketing et publicité : Remplacement dynamique des personnages vidéo pour un contenu marketing et publicitaire plus engageant.
- ✨ Influenceurs virtuels : Création d'influenceurs et d'avatars virtuels avec une imitation réaliste des expressions faciales en temps réel.
- 🎬 Production de films et de vidéos : Rationalisez la prévisualisation et les reshoots de films et de vidéos sans avoir besoin de nouveaux tournages.
- 🎨 Contenu personnalisé : Générez du contenu personnalisé créé par les utilisateurs, mettant en scène des personnages personnalisés.
- 📱 Animation pour les réseaux sociaux : Animez vos photos pour des publications captivantes sur les réseaux sociaux et pour divertir vos abonnés.
- 📚 Contenu éducatif : Personnalisez vos vidéos éducatives et de formation avec des personnages sur mesure.
- 🔒 Protection de la vie privée : Améliorer la protection de la vie privée en remplaçant les visages dans les séquences vidéo existantes pour la création de contenu sensible.
- 🎭 Effets numériques : Faciliter la production d'effets numériques et de deepfakes, en mettant l'accent sur les contrôles éthiques.
Exemple de code
data-name ="alibaba.create-video-to-video-generation" data-model ="alibaba/wan2.2-14b-animate-replace" > Comparaison avec d'autres modèles
Vidéo comparant la diffusion stable : Wan 2.2 Animate Remplacer Wan 2.2 se concentre principalement sur le remplacement complet de personnages dans les vidéos, offrant une expression et un transfert de mouvement holistiques. Cette capacité surpasse les extensions Stable Diffusion standard, généralement limitées à la génération de courts clips et présentant souvent un contrôle temporel moins précis. De plus, Wan 2.2 peut traiter des vidéos plus longues (jusqu'à plusieurs minutes), un avantage considérable par rapport aux sorties généralement plus courtes des modèles vidéo Stable Diffusion.
vs Image Video (Google) : Imagen Video est principalement conçu pour générer des vidéos à partir de textes avec une haute qualité visuelle, mais il n'offre pas intrinsèquement de fonctionnalités spécifiques de remplacement de caractères. Wan 2.2 Animate Remplace Son principal atout réside dans l'unification des modes d'animation et de remplacement, offrant un contrôle précis des expressions et des mouvements, et répondant ainsi spécifiquement aux flux de travail centrés sur les personnages.
vs Meta Make-A-Video : Bien que Make-A-Video génère de courts clips vidéo à partir de texte, il ne permet pas la substitution ciblée de caractères. Wan 2.2 Animate Remplacer Wan 2.2 se spécialise dans le remplacement de personnages grâce à une synchronisation précise des poses et des lèvres au sein de vidéos existantes, ce qui le rend plus pratique pour les flux de travail de post-production et de montage vidéo, contrairement à Make-A-Video qui se concentre sur la création de scènes générales.
Intégration API
Wan 2.2 Animate Remplacer est accessible via l'API IA/ML. Une documentation complète est disponible. disponible ici.
Foire aux questions (FAQ)
Qu'est-ce que Wan 2.2 14B Animate Replace ?
Wan 2.2 14B Animate Replace est un modèle avancé de génération vidéo par IA conçu pour remplacer avec précision les personnages dans les vidéos existantes. Il préserve intelligemment la scène, l'arrière-plan, les angles de caméra et le rythme de la vidéo originale, tout en intégrant un nouveau personnage à partir d'une image de référence.
Puis-je remplacer uniquement le visage ou le corps entier ?
Oui, le modèle offre une grande flexibilité. Vous pouvez choisir de remplacer uniquement le visage du personnage original ou opter pour un remplacement complet du corps, les deux options préservant les poses corporelles originales et la synchronisation labiale pour une animation naturelle.
Comment Wan 2.2 garantit-il la cohérence vidéo après remplacement ?
Ce modèle est conçu pour préserver la cohérence de la scène en conservant intégralement l'arrière-plan, les angles de caméra, les conditions d'éclairage et le rythme d'origine. Il se concentre exclusivement sur le remplacement du personnage tout en préservant tous les autres éléments de la vidéo.
Quelles sont les principales applications de cette technologie de remplacement de caractères ?
Les principales applications incluent le remplacement de personnages vidéo pour la publicité, la création d'influenceurs et d'avatars virtuels, la prévisualisation de films, le contenu personnalisé généré par l'utilisateur, la personnalisation de vidéos éducatives et la création de contenu préservant la confidentialité.
Le déploiement local est-il une option pour Wan 2.2 Animate Replace ?
Oui, Wan 2.2 14B Animate Replace peut être déployé et exécuté localement, à condition de disposer de la configuration matérielle appropriée. Cela permet une génération de sortie de haute qualité directement sur votre propre infrastructure.
Terrain de jeu de l'IA
