Nous devenons experts des visages bien avant de devenir experts de quoi que ce soit d’autre. Nous lisons sur les lèvres sans le savoir, et nous remarquons en une fraction de seconde quand la bouche et le son ne concordent pas. C’est pourquoi la vidéo parlante est l’un des problèmes les plus difficiles de la vidéo IA, et pourquoi de petits choix techniques font une grande différence. Cet article explique ce que la synchronisation labiale doit réussir et comment la vidéo parlante d’AI Influencer Studio s’y prend.

Les sons et les formes de bouche ne se correspondent pas un à un

La parole est faite de sons (les phonèmes) ; les positions visibles de la bouche s’appellent des visèmes. De nombreux sons partagent un même visème : p, b et m ferment tous les lèvres. D’autres différences sont invisibles : k et g se forment au fond de la bouche. Un système de synchronisation labiale doit produire la bonne suite de formes de bouche pour le son, et non une forme par lettre.

Les vraies bouches anticipent aussi. Les lèvres s’arrondissent pour le « ou » de « fou » avant même que le f soit terminé. Ce chevauchement, appelé coarticulation, explique pourquoi la parole paraît fluide, et pourquoi une bouche qui saute d’une forme à l’autre semble robotique même lorsque chaque forme prise isolément est correcte.

La tolérance de timing est faible

Les spectateurs tolèrent un peu mieux un son en retard sur l’image qu’un son en avance, mais la marge est étroite, de l’ordre de quelques images vidéo. Les erreurs qui restent dans cette marge passent inaperçues ; celles qui s’accumulent au fil d’une longue phrase deviennent évidentes. C’est l’une des raisons pour lesquelles une longue prise de parole est découpée en clips plus courts au lieu d’être générée d’un seul tenant.

Le visage doit être visible

La synchronisation labiale a besoin d’une bouche sur laquelle travailler. Un petit visage dans un plan large, un profil marqué, une main ou une tasse devant la bouche, ou des mouvements de tête rapides rendent tous un bon résultat moins probable. Les scènes conçues pour parler, avec un visage grand et tourné vers la caméra, donnent systématiquement un meilleur rendu. Lorsqu’aucun visage n’est détecté, mieux vaut se rabattre sur une voix off que forcer, et le coût de la synchronisation labiale doit être remboursé.

La langue compte

Les langues diffèrent par le débit, le rythme et les formes de bouche typiques. Une phrase de même longueur ne prend pas le même temps en turc, en allemand ou en italien ; c’est pourquoi la durée d’un clip parlé est calculée à partir du texte et de la langue plutôt que d’un débit fixe. Mélanger les langues dans une même réplique rend à la fois la prononciation et le mouvement de la bouche moins fiables.

Deux approches : l’audio d’abord ou la vidéo d’abord

L’audio d’abord : générer la voix à partir du texte, puis animer un visage pour qu’il corresponde à l’audio. La voix est exactement la bonne et le texte est exactement celui qui a été écrit. Le point faible, c’est le visage : animer un portrait existant sur une piste audio fixe fait souvent bien bouger la bouche, mais le reste du visage, la tête et le corps de façon moins naturelle.

La vidéo d’abord : générer le personnage en train de parler, avec la parole, en une seule passe. Bouche, visage, respiration et gestes vont ensemble, ce qui paraît plus naturel. Les points faibles concernent le contrôle : la voix n’est pas celle de votre personnage, et les mots peuvent différer légèrement de votre texte.

La vidéo parlante haute qualité combine les points forts des deux. Le clip est d’abord généré en vidéo, pour un mouvement naturel. La parole est ensuite convertie dans la voix enregistrée du personnage en conservant son timing, si bien que la bouche reste synchronisée. Enfin, les mots prononcés sont transcrits et comparés au texte ; un clip qui ne dit pas le texte avec suffisamment de fidélité est refait, et si cela échoue, la vidéo est terminée avec la méthode audio d’abord en secours, et la différence de prix est remboursée. Le guide de la vidéo parlante couvre le côté utilisateur.

Comment juger une vidéo parlante

  • Fermetures : les lèvres se ferment-elles complètement sur p, b et m ?
  • Timing : observez le premier et le dernier mot de chaque phrase, là où le décalage apparaît en premier.
  • Visage entier : les yeux, les joues et la tête bougent-ils avec la parole, ou seulement la bouche ?
  • Raccords : dans les vidéos plus longues, les transitions entre clips sont-elles fluides à l’image et au son ?
  • Exactitude : la vidéo dit-elle exactement votre texte, avec les noms correctement prononcés ?
  • Voix : est-ce la même voix du premier au dernier clip ?

Ce qui limite encore la qualité

Les phrases très longues, la parole rapide, le chant, les cris très émotionnels et plusieurs personnes parlant à l’écran en même temps restent difficiles. Les vidéos carrées et les répliques plus longues dans les scènes utilisent la synchronisation labiale standard plutôt que la méthode haute qualité. Et chaque contrôle qui améliore la qualité ajoute aussi du temps : un clip parlé demande environ deux minutes de production.

Questions fréquentes

Pourquoi ne pas synchroniser les lèvres de n’importe quelle vidéo existante ? La synchronisation labiale sur un clip existant ne modifie que la bouche. Quand le reste du visage ne bougeait pas avec la parole, le résultat a l’air doublé. Générer le clip directement comme une prise de parole donne un visage plus naturel.

Pourquoi les clips parlés durent-ils huit secondes au plus ? Des clips plus courts gardent le timing et l’identité plus précis. Un texte plus long est découpé aux fins de phrase et assemblé avec de courtes transitions douces.

La voix propre du personnage survit-elle au processus ? Oui. La voix enregistrée avec le personnage, issue de la bibliothèque de voix ou de votre propre voix clonée, est celle que vous entendez dans chaque clip.