Recherche de site Web

Wan2.2 Génération de texte en vidéo

Wan2.1 a probablement été le modèle open-source le plus répandu adopté par la communauté de l'IA. Cela est en grande partie grâce à son incroyable polyvalence, aux premières versions disponibles dès le premier jour pour les modèles de texte en vidéo et d'image en vidéo, ainsi qu'à son intégration généralisée dans les outils open-source. De plus, récemment, Wan2.1 fait sensation en tant que modèle de génération d'images, attirant des comparaisons directes avec des modèles de premier plan comme Flux.1 de Black Forest Labs.

Le 28 juillet, Wan2.2 a été mis en open source et publié au public, offrant le premier successeur à la populaire suite de modèles vidéo. Wan2.2 présente plusieurs améliorations par rapport à son prédécesseur, y compris mais sans s'y limiter :

  • Architecture MoE efficace : Wan2.2 est le premier modèle de génération vidéo par mélange d'experts, augmentant la capacité et la polyvalence du modèle sans affecter le coût computationnel.
  • Esthétique de niveau cinématographique : en utilisant des données fabriquées à la main et sélectionnées, Wan2.2 revendique une esthétique et une qualité cinématographique supérieures à celles de son prédécesseur
  • Génération de mouvements complexes : grâce à un corpus d'entraînement beaucoup plus vaste, ils ont amélioré le modèle, désormais SOTA, en matière de « généralisation à travers plusieurs dimensions telles que les mouvements, la sémantique et l'esthétique »
  • TI2V hybride haute définition efficace : en plus du modèle MoE 27B (14B activé), ils publient en open-source une version dense de 5B capable de génération de vidéo à partir de texte et d'image, et conçue pour fonctionner sur des cartes graphiques grand public Source

Maintenant que le modèle a été publié, nous sommes très enthousiastes de vous présenter ce tutoriel pour Wan2.2 utilisant ComfyUI sur un GPU Droplet de Linux-Console.net. Suivez les instructions étape par étape pour configurer l'environnement pour ComfyUI, télécharger et organiser les fichiers du modèle dans leurs répertoires corrects, et une démonstration montrant comment exécuter le nouveau modèle Wan2.2 MoE A14B pour générer une vidéo à partir d'une entrée textuelle.

Configuration du Droplet GPU

Configurer l'environnement pour ComfyUI sur un Droplet GPU est rapide et simple !

Tout d'abord, assurez-vous d'avoir créé un Droplet GPU avec des ressources suffisantes pour exécuter cette démonstration. Nous recommandons le NVIDIA H100 ou l'AMD MI300X pour des performances optimales. Une fois qu'il a démarré, accédez à la machine via la fenêtre de terminal de votre ordinateur local en utilisant l'adresse IP de votre machine et SSH.

Ssh root@<your ip address>

Une fois que c'est terminé, et que vous avez maintenant accès à votre Droplet GPU, nous pouvons commencer à configurer l'environnement distant. Notez que vous pourriez vouloir quitter le répertoire root avant de continuer. Sinon, notre première étape est de cloner le dépôt Github de ComfyUI sur notre machine et d'installer les paquets pertinents dans un environnement virtuel.

Git clone https://github.com/comfyanonymous/ComfyUI
Cd ComfyUI
Python -m venv venv_comfy
Source venv_comfy/bin/activate
Pip install -r requirements.txt

Cela ne devrait prendre que quelques minutes à compléter. Ensuite, nous allons télécharger tous les fichiers de modèle nécessaires. Pour cet exemple, nous allons utiliser les modèles de texte en vidéo. Collez le code suivant pour télécharger tous les fichiers de modèle dans les répertoires corrects.

wget -O models/diffusion_models/wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/diffusion_models/wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
wget -O models/diffusion_models/wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/diffusion_models/wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
wget -O models/text_encoders/umt5_xxl_fp16.safetensors https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp16.safetensors 
wget -O models/vae/wan_2.1_vae.safetensors https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors
wget -O models/vae/wan2.2_vae.safetensors https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/vae/wan2.2_vae.safetensors

Cela devrait prendre environ 10 minutes à compléter, mais cela peut être accéléré en ouvrant de nouvelles fenêtres de terminal pour votre machine distante, en vous rendant dans le répertoire ComfyUI, et en collant le code ci-dessus avec une ligne par fenêtre.

Une fois cela terminé, nous sommes prêts à exécuter ComfyUI ! Collez le code suivant dans le terminal :

python main.py

Sur votre machine locale, ouvrez VS Code et connectez-vous à votre machine distante en utilisant SSH. Vous pouvez le faire en cliquant sur le bouton « Connect To » dans la fenêtre centrale, et en utilisant Remote-SSH pour accéder à votre machine depuis VS Code.

Ensuite, prenez la sortie de votre fenêtre de terminal distante, quelque chose comme http://127.0.0.1:8188, et collez-la dans le navigateur simple de la nouvelle fenêtre VS Code connectée. Vous pouvez y accéder avec commande+p et en recherchant le navigateur simple. Cliquez sur le bouton en haut à droite de la barre d'URL pour ouvrir ComfyUI dans votre fenêtre de navigateur locale.

Génération de vidéos avec Wan2.2 Texte-à-Vidéo

Ci-dessus se trouve un exemple de flux de travail pour ComfyUI fourni par ComfyAnonymous sur leur site Web, ici. Téléchargez l'image ou le fichier json, et ouvrez-le dans votre fenêtre ComfyUI dans le navigateur.

Puisque nous avons déjà téléchargé tous les fichiers modèles requis, nous pouvons cliquer sur exécuter pour générer une vidéo d'exemple comme celle ci-dessous :

Nous recommandons de naviguer à travers les différents nœuds pour vous familiariser avec chacun d'eux. En particulier, nous recommandons de savoir comment ajuster les nœuds suivants :

  • Encodage de texte Clip (Invite positive) : Ce nœud contrôle l'entrée de texte pour le modèle. Nous pouvons le modifier en utilisant un langage semblable à celui des humains pour changer notre sortie comme souhaité
  • Encodage de texte Clip (Invite négative) : Ce nœud contrôle l'entrée négative pour le modèle. Ajustez-le pour supprimer les traits, objets ou caractéristiques indésirables de votre vidéo
  • EmptyHunyuanLatentVideo : Cela affecte la taille de notre vidéo. Modifiez la hauteur et la largeur pour contrôler directement ces valeurs en pixels
  • KSampler (Avancé) : ces deux éléments contrôlent l'échantillonnage du modèle. Ici, nous pouvons changer la graine de bruit (bien que vous ne devriez pas le faire pour le dernier nœud KSampler), le nombre d'étapes effectuées pour la diffusion, et la force de l'invite.

Comment Wan2.2 fonctionne-t-il ?

D'après notre expérience jusqu'à présent, Wan2.2 représente une avancée dans toutes les directions pour la modélisation vidéo Wan. Tout d'abord, la qualité globale est beaucoup améliorée, en particulier lorsqu'il s'agit de capturer le mouvement. Deuxièmement, la variété de styles et d'objets que le modèle connaît et comprend a considérablement augmenté. Et troisièmement, le coût computationnel n'a pas augmenté par rapport à Wan2.1. Ensemble, ces améliorations font de Wan2.2 le meilleur modèle vidéo open-source disponible ! Voyons comment le modèle se comporte avec quelques images que nous avons générées.

Voici quelques exemples que nous avons réalisés en utilisant les paramètres par défaut avec leurs invites :

Prompt : « Une vidéo de propagande de style Seconde Guerre mondiale montre une rencontre dramatique entre un plouc déconcerté et des êtres extraterrestres. Le plouc, portant une salopette en denim avec une chemise à carreaux déchirée en dessous, se tient la bouche ouverte et les yeux écarquillés dans une expression de choc. Trois extraterrestres gris en uniformes navals argentés métalliques avec des boutons en laiton polis se tiennent devant lui sur le sol métallique courbé du pont de commandement d’un OVNI. Le plouc panique, tandis que les extraterrestres essaient de le calmer. Le pont présente des panneaux de contrôle lumineux avec des voyants clignotants et une grande fenêtre circulaire montrant les étoiles et la Terre visibles dans l’espace. La scène est rendue avec un détail brillant, des détails complexes, vidéo 4k hd haute définition »

Invite : une animation 3D d'un bébé tout-petit déguisé en ninja combattant dans une bataille avec un coq. Ils se battent avec des coups de pied et des coups de poing, et le coq bat des ailes.

Comme nous pouvons le voir, Wan2.2 est incroyablement polyvalent. Il peut mélanger des concepts photoréalistes avec de la fantaisie comme montré dans la première vidéo, et il fonctionne extrêmement bien pour recréer des styles d'animation comme l'animation 3D. Nous sommes également très impressionnés par le respect des consignes obtenu par ces modèles.

Dans l'ensemble, Wan2.2 est un modèle vidéo remarquable, et nous vous encourageons à l'essayer dès aujourd'hui sur la plateforme Gradient de Linux-Console.net !

Pensées de clôture

D'après notre expérience, Wan2.2 est un modèle vidéo incroyable. De plus, il est très rapide d'accéder à la génération Wan2.2 et de la configurer avec ComfyUI sur un Gradient GPU Droplet. Du photoréalisme à l'animation, Wan2.2 semble capable de tout faire d'une manière que nous n'avions jamais vue auparavant dans le monde open source. Nous avons hâte de voir comment l'équipe Wan-Video continuera à faire évoluer cette série de modèles.

Merci d'apprendre avec la communauté Linux-Console.net.