Luma Labs a introduit une solution révolutionnaire : un outil appelé Modifier la vidéo qui permet une reconstruction complète des scènes sans compromettre la performance originale, les mouvements de caméra ou l'animation des personnages. En dissociant le « contexte » (les mouvements et expressions des acteurs) du « lieu » (l'environnement, les textures, l'éclairage et le style visuel), Modify Video offre une flexibilité créative sans précédent.
Principales fonctionnalités et comment elles fonctionnent
1. Extraction de mouvement et marionnettisme
Capture automatique des mouvements du corps entier et du visage:Modify Video peut analyser un clip d'entrée et extraire automatiquement les poses du corps entier, les expressions faciales et les informations de synchronisation labiale.
Conduire de nouveaux personnages ou objets:Une fois ces « données de mouvement » capturées, elles peuvent être appliquées pour piloter tout nouveau personnage 3D, accessoire ou mouvement de caméra.
Par exemple, vous pourriez « transférer » la performance d’un acteur sur une créature comme un monstre, ou vous pourriez avoir un mouvement de table en parfaite synchronisation avec une routine de danse.
Pourquoi ça compte:
En séparant la performance de son apparence originale, les créateurs peuvent expérimenter avec des personnages ou des objets alternatifs tout en préservant la nuance et le timing de l'acte original.
2. 🌆 Échange de monde et de style
- Préserver l'action, changer tout le reste
Sans modifier l'animation principale du personnage ni le timing, vous pouvez complètement réorganiser l'apparence, la sensation et les propriétés matérielles de la scène. - Exemples de transformations
- Transformez un garage délabré en intérieur de vaisseau spatial.
- Transformez une rue lumineuse et ensoleillée en une scène nocturne maussade et éclairée au néon.
- Remplacez une esthétique caricaturale par des textures et un éclairage photoréalistes.
- Technologie sous-jacente
La modification vidéo de luma AI crée une compréhension haute fidélité de la géométrie et de la cohérence temporelle de la scène d'origine, garantissant que tous les changements visuels restent stables dans le temps, évitant ainsi les distorsions, les tremblements ou les artefacts de « déformation temporelle ».
3. Modifications d'éléments isolés
- Réglages ciblés sans écrans verts
Vous pouvez sélectionner des éléments individuels à modifier, tels que la tenue d'un personnage, un accessoire spécifique ou même simplement le ciel, sans affecter le reste du cadre. - Cas d'utilisation illustratifs
- Changer la couleur ou le style du costume d'un artiste.
- Échangez le visage d’un acteur contre celui d’un autre.
- Ajoutez un OVNI naviguant dans le ciel au-dessus d'une scène.
- Aucun suivi image par image requis
Grâce à la compréhension du contexte spatial et temporel de l'outil, inutile de rotoscopier manuellement ni d'effectuer des ajustements fastidieux image par image. Les montages s'intègrent naturellement au métrage.
Modes de fonctionnement et flexibilité créative
Modify Video propose trois modes de transformation prédéfinis, chacun offrant un niveau de liberté créative différent. Les utilisateurs sélectionnent le mode le mieux adapté à leur projet :
Mode Adhérence (Réglage minimal)
Objectif : Préservez autant que possible la structure de la vidéo originale, en apportant uniquement de subtiles modifications de style ou de texture.
Quand utiliser: Idéal pour les situations où vous souhaitez maintenir la cohérence entre plusieurs prises de vue ou apporter des corrections mineures en post-production, comme peaufiner la couleur d'arrière-plan ou remplacer un accessoire légèrement différent du modèle, tout en laissant les performances des acteurs et les angles de caméra intacts.
Mode Flex (créativité équilibrée)
Objectif : Gardez les éléments clés, comme le mouvement d'un personnage, l'expression du visage et le timing, intacts, mais autorisez des modifications créatives plus larges.
Quand utiliser: Convient aux projets nécessitant un compromis entre reproduction fidèle et réinterprétation originale. Par exemple, vous pouvez modifier le décor général ou changer le costume et les accessoires de base d'un personnage, tout en conservant l'essence de la performance originale. Ce mode est particulièrement utile pour générer rapidement de multiples variations stylistiques, par exemple pour les aperçus clients.
Mode Réimaginer (Reconstruction complète)
Objectif : Libérez une liberté créative maximale en vous permettant de repenser complètement les environnements, les personnages ou même de transformer un artiste en une entité non humaine (comme une créature fantastique).
Quand utiliser: Idéal pour les projets artistiques, les courts métrages conceptuels ou tout scénario nécessitant une refonte radicale des images. Le mode Réimaginer vous permet de repenser une scène ou l'apparence d'un personnage de A à Z, pour des résultats saisissants, surréalistes ou surnaturels.
Choisir le bon mode
- Mode Adhérence est votre solution de référence lorsque l'objectif est d'effectuer des ajustements précis sans perturber l'intégrité de l'élément d'origine, par exemple pour garantir la cohérence visuelle d'une séquence à plusieurs prises de vue.
- Mode Flex fonctionne mieux lorsque vous avez besoin d'un équilibre : vous préservez toujours l'authenticité de la performance, mais vous pouvez jouer avec le décor, l'éclairage, les costumes ou les refontes mineures des personnages.
- Mode Réimaginer est conçu sur mesure pour les projets qui exigent une créativité hors du commun, où le monde entier ou les personnages principaux doivent être remaniés pour un impact visuel maximal.
Comment utiliser la fonctionnalité Modifier la vidéo de Luma AI
Modify Video est intégré dans Luma Dream Machine : Rayon 2, prend en charge les clips d'une durée maximale de 10 secondes. Le flux de travail est le suivant :
- Télécharger un court clip vidéo:Pour de meilleurs résultats, conservez des clips d'une durée de 5 à 10 secondes, filmés en haute résolution avec un minimum de tremblement de l'appareil photo.
- Choisissez un mode de transformation: Sélectionnez Adhérer, Flex ou Réimaginer en fonction du changement radical que vous souhaitez.
- Fournir un cadre de référence ou une invite de style (facultatif):Si vous avez un look ou une image clé spécifique (par exemple, une image fixe d'une œuvre d'art conceptuel), vous pouvez la télécharger.
- Saisissez une invite de texte (si vous le souhaitez):Des descriptions détaillées et positives (par exemple, « Une rue cyberpunk éclairée au néon au crépuscule avec des véhicules en vol stationnaire ») aident le système à interpréter votre vision avec précision.
- Ajuster « Intensité de modification »:Composer entre des transformations subtiles et dramatiques.
- Générer et réviser plusieurs variantes:Le système génère plusieurs versions ; vous pouvez choisir la meilleure et continuer à itérer ou exporter directement.
Recommandations avant le tournage
- Stabilisez votre appareil photo:Utilisez un trépied ou un cardan pour minimiser les tremblements et garantir une extraction de mouvement propre.
- Choisissez des arrière-plans simples:Des murs simples ou des espaces épurés aident l'IA à isoler les sujets plus efficacement.
- Capturez des images haute résolution et bien éclairées:Des cadres clairs produisent des données de pose et de texture plus précises.
- Gardez les clips en dessous de 10 secondes:Bien que le système prenne en charge jusqu'à 10 secondes, des segments de 5 à 7 secondes équilibrent la profondeur du contenu avec l'efficacité du traitement.
Limites à considérer
- Clip de 10 secondes maximum
Si vous avez des séquences plus longues, vous devrez les diviser en plusieurs segments pour les traiter. - La qualité des entrées affecte les résultats
Des images floues, de faible résolution ou bruyantes peuvent dégrader la précision de la capture de mouvement et la fidélité visuelle finale. - Scènes chaotiques ou bondées
Les prises de vue comportant de nombreux objets en mouvement rapide ou des arrière-plans très encombrés peuvent produire des artefacts instables ou des erreurs de fusion involontaires. - Éléments complexes qui se chevauchent
Les scènes avec plusieurs acteurs ou accessoires qui se chevauchent peuvent mettre à l'épreuve les algorithmes d'isolation : des configurations plus simples donnent généralement des résultats plus nets.
En résumé, les Modifier la vidéo représente une avancée majeure en matière de flexibilité post-production, vous permettant de préserver l'essence d'une performance tout en reconstruisant son univers. Associé aux nouvelles fonctionnalités intégrées de Ray 2, telles que la compatibilité avec Adobe Firefly, les concepts d'angle de caméra et le contrôle des images clés, Luma AI permet aux créateurs de raconter des histoires avec une agilité et une créativité sans précédent. Que vous ayez besoin de retouches de style subtiles ou de réinventions surréalistes et radicales, cet ensemble d'outils évolutifs élargit considérablement les possibilités de chaque clip de 10 secondes.
Pour commencer
CometAPI fournit une interface REST unifiée qui regroupe des centaines de modèles d'IA sous un point de terminaison cohérent, avec gestion intégrée des clés API, des quotas d'utilisation et des tableaux de bord de facturation. Plus besoin de jongler avec plusieurs URL et identifiants de fournisseurs.
Les développeurs peuvent accéder aux dernières API Luma à travers API CometPour commencer, explorez les capacités du modèle dans le cour de récréation et consultez le Guide de l'API Pour des instructions détaillées, veuillez vous connecter à CometAPI et obtenir la clé API avant d'y accéder. API Comet proposer un prix bien inférieur au prix officiel pour vous aider à intégrer :
