企业API定制计划
AI应用开发服务
AI智能翻译API
AI SEO/GEO 服务
网络爬虫服务
登录
const main = async () => {
const response = await fetch('https://api.ai.cc/v2/video/generations', {
method: 'POST',
headers: {
Authorization: 'Bearer ',
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: 'alibaba/wan2.2-14b-animate-replace',
prompt: 'Mona Lisa puts on glasses with her hands.',
video_url: 'https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4',
image_url: 'https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg',
resolution: "720p",
}),
}).then((res) => res.json());
console.log('Generation:', response);
};
main()
import requests
def main():
url = "https://api.ai.cc/v2/video/generations"
payload = {
"model": "alibaba/wan2.2-14b-animate-replace",
"prompt": "Mona Lisa puts on glasses with her hands.",
"video_url": "https://storage.googleapis.com/falserverless/example_inputs/wan_animate_input_video.mp4",
"image_url": "https://s2-111386.kwimgs.com/bs2/mmu-aiplatform-temp/kling/20240620/1.jpeg",
"resolution": "720p",
}
headers = {"Authorization": "Bearer ", "Content-Type": "application/json"}
response = requests.post(url, json=payload, headers=headers)
print("Generation:", response.json())
if __name__ == "__main__":
main()
- API 操练场（Playground）
在集成之前，请在沙箱环境中测试所有 API 模型。
我们提供 300 多种模型供您集成到您的应用程序中。
产品详情
这 Wan 2.2 14B 动画替换 该模型代表着一项突破 AI视频生成专为精确控制而设计 角色替换 在现有视频素材中，这款先进的模型能够完美保留原视频的固有元素——场景、背景、镜头角度和精准的时间轴——同时，根据一张参考照片，无缝地将原视频中的人物替换为新角色。用户可以灵活选择仅替换面部或进行全身替换，所有操作均能保留原有的身体姿势，并确保唇部动作完美同步。
技术规格
- ✨ 模特尺寸： 140亿个参数驱动着发电骨干网。
- 🧠 建筑： 一款功能强大的扩散变换器视频生成器，采用专首页混合设计，以增强容量和高效计算。
- 🌌潜在空间处理： 采用自定义 3D 因果变分自编码器 (VAE)（~1.27 亿个参数）进行时空潜在视频压缩。
- 🕰️ 因果关系： 时间因果关系确保未来的帧不会影响过去的帧，从而产生稳定和连贯的运动生成。
- 👁️注意力机制： 跨视频帧和像素的时空自注意力机制。
- ✍️ 调理： 通过 T5 编码器对文本特征进行交叉关注，以实现可选的文本驱动控制。
- 📥 输入： 需要一张参考图像（用于身份识别）和一段参考视频（用于运动识别）。
- 📤 输出： 生成一段替换了角色的视频，分辨率为 720p，帧率为每秒 24 帧。
性能基准
- 🖼️ 视频质量： 提供高保真度的角色替换效果，动作极其流畅，面部表情自然。
- 📏 分辨率和帧速率： 始终支持 720p 分辨率，帧速率为每秒 24 帧。
- ⚡延迟： 本地生成速度取决于 GPU；与消费级 GPU 相比，H100 GPU 的推理速度明显更快。
- 📉资源效率： 这种创新的专首页混合架构提高了模型容量，而计算成本却没有成比例地增加。
主要特点
- 👤 角色替换： 只需一张参考图片，即可轻松将视频中的原人物替换为新人物。
- 🎭 全部或部分更换： 选择所需的替换程度——从仅替换面部到完全替换全身。
- 🕺 姿势和表情保持： 保持原始身体姿势、头部动作和唇部同步的完整性，实现极其自然的动画效果。
- 🏞️场景一致性： 保证背景、拍摄角度、光线和时间安排完美无瑕。
- 🌟 高度写实： 利用基于骨骼的运动跟踪和精细的面部编码，生成流畅、高度逼真的动画。
- 💻 本地部署： 具备在本地运行的能力，并可通过适当的硬件配置支持高质量输出生成。
API定价
- 480p： 0.042美元
- 580p： 0.063美元
- 720p： 0.084美元
用例
- 📈 市场营销与广告： 用于制作引人入胜的营销和广告内容的动态视频角色替换。
- ✨虚拟网红： 创建具有逼真、实时表情模仿能力的虚拟网红和化身。
- 🎬 电影和视频制作： 简化电影和视频的预可视化和补拍流程，无需重新拍摄。
- 🎨 个性化内容： 生成包含自定义角色的个性化用户原创内容。
- 📱 社交媒体动画： 为照片添加动画效果，打造引人入胜的社交媒体帖子和娱乐内容。
- 📚 教育内容： 使用定制角色定制教育和培训视频。
- 🔒 隐私保护： 通过替换现有视频素材中的人脸来增强敏感内容创作的隐私保护。
- 🎭 数字特效： 促进数字特效和深度伪造技术的制作，重点关注伦理控制。
代码示例
data-name ="alibaba.create-video-to-video-generation" data-model ="alibaba/wan2.2-14b-animate-replace" > 与其他型号的比较
与稳定扩散视频对比： Wan 2.2 动画替换 Wan 2.2 主要专注于视频中的端到端角色替换，提供整体的表情和动作迁移。这项功能超越了标准的稳定扩散扩展，后者通常仅限于生成短视频片段，且时间控制往往不够稳定。此外，Wan 2.2 可以处理更长的视频（长达数分钟），这相比稳定扩散视频模型通常较短的输出具有显著优势。
与图像视频（Google）： Imagen Video 主要面向根据文本提示生成高质量视频，但它本身并不提供特定的字符替换功能。 Wan 2.2 动画替换 其独特的卖点在于统一了动画和替换模式，提供了对表情和动作的详细控制，从而专门满足以角色为中心的工作流程。
vs Meta Make-A-Video： 虽然 Make-A-Video 可以根据文本生成短视频片段，但它缺乏针对特定字符的替换功能。 Wan 2.2 动画替换 Wan 2.2 擅长角色替换，能够精确同步现有视频中的姿势和嘴唇，使其更适用于后期制作和视频编辑工作流程，这与 Make-A-Video 专注于一般场景创建形成了鲜明对比。
API集成
Wan 2.2 动画替换 可通过 AI/ML API 访问。完整文档如下： 此处提供。
常见问题解答 (FAQ)
Wan 2.2 14B Animate Replace 是什么？
Wan 2.2 14B Animate Replace 是一款先进的 AI 视频生成模型，旨在精确替换现有视频中的角色。它能够智能地保留原始视频的场景、背景、镜头角度和时间轴，同时将参考图像中的新角色融入其中。
我可以只更换脸部还是整个身体？
是的，该模型提供了很大的灵活性。您可以选择只替换原角色的面部，也可以选择替换整个身体，两种方式都能保留原有的身体姿势和唇形同步，从而实现自然流畅的动画效果。
Wan 2.2 如何确保更换设备后的视频一致性？
该模型旨在保持场景一致性，完整保留原始背景、镜头角度、光照条件和时间轴。它只专注于替换角色，同时保留视频的所有其他元素。
字符替换技术的主要应用有哪些？
主要应用包括广告视频角色替换、创建虚拟影响者和化身、电影预可视化、个性化用户生成内容、教育视频定制以及保护隐私的内容创建。
Wan 2.2 Animate Replace 是否支持本地部署？
是的，只要硬件配置合适，WAN 2.2 14B Animate Replace 就可以在本地部署和运行。这样就可以直接在您自己的基础设施上生成高质量的输出文件。
