Las personas somos expertas en caras mucho antes de serlo en cualquier otra cosa. Leemos los labios sin saberlo y notamos en una fracción de segundo cuando la boca y el sonido no coinciden. Por eso el vídeo hablado es uno de los problemas más difíciles del vídeo con IA y por eso pequeñas decisiones técnicas marcan una gran diferencia. Este artículo explica qué tiene que hacer bien la sincronización labial y cómo la aborda el vídeo hablado de AI Influencer Studio.

Sonidos y formas de la boca no van uno a uno

El habla está formada por sonidos (fonemas); las posiciones visibles de la boca se llaman visemas. Muchos sonidos comparten un visema: p, b y m cierran los labios. Otras diferencias son invisibles: k y g se producen en el fondo de la boca. Un sistema de sincronización labial tiene que producir la secuencia correcta de formas de la boca para el sonido, no una forma por letra.

Además, las bocas reales se anticipan. Los labios se redondean para la "u" de "fuego" antes de terminar la f. Esta superposición, llamada coarticulación, es la razón de que el habla se vea fluida, y de que una boca que salta de una forma a otra parezca robótica aunque cada forma por separado sea correcta.

El margen de sincronía es pequeño

El espectador tolera algo mejor un sonido que va un poco por detrás de la imagen que uno que se adelanta, pero el margen es estrecho, de unos pocos fotogramas de vídeo. Los errores que se quedan dentro de ese margen pasan desapercibidos; los que se acumulan a lo largo de una frase larga se vuelven evidentes. Esta es una de las razones por las que un texto largo se divide en clips más cortos en lugar de generarse de una sola vez.

La cara tiene que verse

La sincronización labial necesita una boca con la que trabajar. Una cara pequeña en un plano general, un perfil marcado, una mano o una taza delante de la boca, o un movimiento rápido de la cabeza hacen menos probable un buen resultado. Las escenas pensadas para hablar, con la cara grande y orientada hacia la cámara, se ven sistemáticamente mejor. Cuando no se detecta ninguna cara, es mejor recurrir a una voz en off que forzarlo, y debe devolverse el coste de la sincronización labial.

El idioma importa

Los idiomas difieren en velocidad del habla, ritmo y formas típicas de la boca. Una frase de la misma longitud tarda un tiempo distinto en turco, alemán o italiano; por eso la duración de un clip hablado se calcula a partir del texto y del idioma, y no con una velocidad fija. Mezclar idiomas en una misma frase hace menos fiables tanto la pronunciación como el movimiento de la boca.

Dos enfoques: audio primero o vídeo primero

Audio primero: se genera la voz a partir del texto y después se anima una cara para que encaje con el audio. La voz es exactamente la correcta y el texto es exactamente el que se escribió. El punto débil es la cara: animar un retrato existente sobre una pista de audio fija suele mover bien la boca, pero el resto de la cara, la cabeza y el cuerpo de forma menos natural.

Vídeo primero: se genera al personaje hablando, con el habla, en una sola pasada. Boca, cara, respiración y gestos van juntos, así que se ve más natural. Los puntos débiles están en el control: la voz no es la de tu personaje y las palabras pueden diferir ligeramente de tu texto.

El vídeo hablado de alta calidad combina los puntos fuertes de ambos. El clip se genera con vídeo primero, así que el movimiento es natural. Después, el habla se convierte a la voz guardada del personaje manteniendo su sincronía, de modo que la boca sigue encajando. Por último, las palabras habladas se transcriben y se comparan con el guion; un clip que no dice el texto con suficiente fidelidad se vuelve a crear y, si vuelve a fallar, el vídeo se termina con audio primero como respaldo y se devuelve la diferencia de precio. La guía del vídeo hablado cubre la parte que ve el usuario.

Cómo evaluar un vídeo hablado

  • Cierres: ¿se cierran del todo los labios en la p, la b y la m?
  • Sincronía: fíjate en la primera y la última palabra de cada frase, donde primero se nota el desfase.
  • Cara completa: ¿se mueven los ojos, las mejillas y la cabeza con el habla, o solo la boca?
  • Uniones: en vídeos más largos, ¿son suaves las transiciones entre clips en imagen y en sonido?
  • Exactitud: ¿dice el vídeo exactamente tu texto, con los nombres bien pronunciados?
  • Voz: ¿es la misma voz del primer clip al último?

Lo que todavía limita la calidad

Las frases muy largas sin pausa, el habla rápida, el canto, los gritos muy emocionales y varias personas hablando a la vez en cámara siguen siendo difíciles. Los vídeos cuadrados y las frases más largas en las escenas usan la sincronización labial estándar en lugar del método de alta calidad. Y cada control que mejora la calidad también añade tiempo: un clip hablado tarda unos dos minutos en crearse.

Preguntas frecuentes

¿Por qué no sincronizar los labios de cualquier vídeo existente? La sincronización labial sobre un clip existente solo cambia la boca. Si el resto de la cara no se movía con el habla, el resultado parece doblado. Generar el clip como habla da una cara más natural.

¿Por qué los clips hablados duran como máximo ocho segundos? Los clips más cortos mantienen más ajustadas la sincronía y la identidad. Los textos más largos se dividen al final de cada oración y se unen con transiciones breves y suaves.

¿Se conserva la propia voz del personaje en el proceso? Sí. La voz guardada en el personaje, de la biblioteca de voces o tu propia voz clonada, es la que oyes en todos los clips.