Runway Text-to-Video: Fun Gimmick, or the Future of Video Editing?

Runway est un outil de montage vidéo basé sur un navigateur. À première vue, il ne semble pas très différent des éditeurs populaires comme Premiere Pro ou DaVinci Resolve. Mais ce qui distingue Runway, ce sont ses outils alimentés par l’IA. Bien sûr, il a des filtres, du texte, de l’audio multipiste, des animations d’images clés, plusieurs couches et des fonctionnalités d’édition de base, mais la vraie différence est le texte en vidéo, le rotoscope et les outils de remplissage contextuels. Dans un tweet récent, Runway a montré une vidéo promotionnelle pour ses prochains outils de conversion de texte en vidéo. Cependant, il n’est pas encore clair s’il s’agira simplement d’un gadget avec un gros mouvement marketing ou d’un outil utile pour les éditeurs.

Texte en vidéo

La nouvelle fonctionnalité de Runway, actuellement disponible uniquement en s’inscrivant à une liste d’attente, est le texte par vidéo AI. Cet outil promet d’éditer et de créer des vidéos en utilisant des descriptions écrites en langage naturel. Les vidéos de démonstration montrent ce qu’ils pensent que l’outil peut faire. Il montre un utilisateur tapant des commandes pour importer une vidéo d’une rue de la ville, la rendre cinématographique (en appliquant un dégradé de couleurs), supprimer un objet (éventuellement en utilisant l’outil de remplissage contextuel Inpainting). L’outil est ensuite montré en train de créer des images d’un jardin luxuriant qui passe par différents styles. On ne sait pas si ceux-ci ont été générés à partir d’une recherche d’images ou par des outils d’IA tels que le DALL-E ou Midjourney récemment populaire. L’éditeur est ensuite affiché en train de convertir les commandes de texte de base en modifications réelles. La capacité de comprendre et d’agir sur les invites du langage naturel est une avancée technologique très intéressante et prometteuse. Cela peut rendre l’édition avancée plus accessible aux non-professionnels.

La première question ici est de savoir si cela est plus rapide que l’édition régulière. Les éditeurs expérimentés deviennent plus rapides avec la pratique et l’utilisation de macros ainsi que de raccourcis clavier et souris. La saisie de la commande pour certaines actions peut prendre plus de temps que la réalisation effective de l’action.

La deuxième question (liée à la première) est de savoir si ces commandes sont correctes. Rien qu’en regardant les commandes de cette vidéo, il est clair que de nombreux ajustements peuvent être apportés qui pourraient même ne pas gagner de temps – et ce ne sera certainement pas aussi instantané que promis.

  • importer – L’exemple ci-dessus importe-t-il une vidéo stock ou quelque chose qui a été importé manuellement ? Dans ce dernier cas, l’IA a-t-elle scanné le contenu de la vidéo importée et ajouté ces métadonnées ?
  • Échelle dans le temps – Quelle est la durée de l’animation ? Jusqu’où zoome-t-il ? Est-ce qu’il s’adapte au point central ou à un point différent ?
  • Fondu dans le texte – Quelle est la police et la couleur du texte ? Combien de temps dure la décoloration ?
  • arrière-plan flou – Quelle est la quantité de flou appliquée ? De quel style de flou s’agit-il ?

Ce qui semble susceptible de fonctionner comme prévu à partir des commandes répertoriées est le balayage vert du personnage. Rendre l’arrière-plan en noir et blanc est probablement facile aussi. Mais à ce stade, y a-t-il quelque chose de plus rapide que de taper “noir et blanc” dans une liste de filtres et de l’appliquer ? Il est peut-être plus rapide d’écrire l’action pour appliquer quelque chose comme un flou, puis de le définir à partir de cette ligne de base si vous n’êtes pas satisfait des résultats.

Dans l’ensemble, la fonctionnalité de conversion de texte en vidéo semble être une avancée technologique très intéressante. Mais il reste à déterminer s’il s’agit d’une excellente vitrine de la technologie de l’IA ou si cela aidera les éditeurs à accélérer leur flux de travail.

Heureusement, Runway propose d’autres outils utiles qui valent bien votre temps. Et au lieu de les mettre sur une liste d’attente, vous pouvez les utiliser maintenant.

Écran vert

L’outil d’écran vert de Runway (souvent appelé le rotoscope) compte des utilisateurs de haut niveau avec des réussites notables. L’une des plus en vue est l’équipe graphique de The Late Show avec Stephen Colbert. Ils prétendent réduire leur flux de travail de rotoscopie de quelques heures à quelques minutes. La rotoscopie est clairement la force de Runway, elle identifie intelligemment les personnes et les objets avec facilité. Si vous avez besoin de combiner cela avec une simple modification, l’outil peut le faire. Il est facile d’imaginer Runway dans le cadre d’un flux de travail d’édition plus large, mais les grandes productions ne l’utiliseront probablement pas comme seul outil d’édition dans un proche avenir.

Comparé à d’autres méthodes de rotoscopie populaires dans des logiciels comme After Effects, Runway est même en concurrence avec le dernier outil d’IA d’Adobe, Rotobrush 2.0 (consultez notre didacticiel vidéo Rotobrush 2.0 ici !). Cependant, étant donné que Green Screen et Rotobrush 2.0 ont leurs propres défauts, un argument peut être avancé pour conserver votre flux de travail dans un environnement Adobe uniquement. Dans la vidéo 2021 ci-dessous, la chaîne YouTube VFX Corridor teste diverses méthodes de rotoscopie. Même dans la vidéo ci-dessous, ce n’est pas la solution en un clic promise par Runway. Avec un sujet en mouvement qui change de direction, il suffit de quelques clics pour conserver le sujet sélectionné. Mais même avec cela à l’esprit, c’était beaucoup plus rapide que d’autres alternatives, y compris Rotobrush 2.0. Le Rotobrush était une seconde très proche, surtout par rapport aux itinéraires plus manuels, mais sa qualité est toujours pâle par rapport à la piste. Pour citer l’un des membres du Corridor Crew : “Habituellement, avec l’IA… vous échangez la vitesse contre les détails, mais avec cela, vous obtenez les deux.”

peinture intérieure

La fonction Inpainting de Runway est un outil de remplissage contextuel. Cela signifie que vous pouvez sélectionner un objet dans votre prise de vue et Runway le supprimera au fur et à mesure qu’il remplit l’espace en fonction du contexte. Il s’agit d’une fonctionnalité disponible dans divers logiciels et qui ne fonctionnera pas à chaque fois. Cependant, c’est un excellent outil pour se débarrasser des sujets gênants et des passants qui entrent dans votre prise de vue. Peignez simplement l’objet dont vous voulez vous débarrasser et l’outil fera le reste. Ce type de fonctionnalité fonctionne très bien sur des arrière-plans simples avec un minimum de mouvement, mais peut être une bouée de sauvetage dans de nombreux scénarios.

Tricherie ou changement de vie ?

Le texte en vidéo est toujours derrière une liste d’attente, et sans une vraie démo sauvage pour le moment, il y a beaucoup de questions sur l’efficacité de la prochaine fonctionnalité de Runway. Toujours pas clair. Mais la technologie a tellement de potentiel ! Il a encore besoin de beaucoup d’intervention humaine pour ne pas voler beaucoup de travail. Et le temps gagné dépendra de la précision de l’outil. Nous retiendrons notre souffle pour voir les résultats lorsque le texte en vidéo sera généralement disponible, mais pour l’instant, vous devriez garder une bonne dose de scepticisme lorsque vous regardez les vidéos promotionnelles de Runway.

Leave a Comment