La sincronización labial con IA de Yeşilçam Studios está diseñada para que cada personaje suene igual en todas las escenas. En los ocho estilos Cinemation que anima un modelo de vídeo, este anima la boca de quien habla, y después la línea se pronuncia con la voz fija de ese personaje y se alinea palabra por palabra con el movimiento de los labios; en Shadowmation y Pixelmation, dibujados por un motor 2.5D, se conservan la voz fija y los subtítulos, sin animación de la boca. En este artículo explicamos por qué elegimos la coherencia de la voz por encima de una sincronización labial genérica y cómo funciona la alineación por dentro.

El problema que queríamos resolver

Hay una forma habitual de hacer hablar a un personaje generado: se produce el audio, se entrega al sistema de vídeo y se le pide que mueva la boca a su ritmo. En un clip aislado funciona bien. En una película de diez escenas, no tanto. Nos encontramos con dos fallos que se repetían.

El primero era la voz. Si cada escena resolvía el habla por su cuenta, el mismo personaje podía sonar algo distinto de un plano a otro: un tono más agudo aquí, un timbre diferente allá. El espectador no sabe explicarlo, pero lo nota: deja de creerse que es la misma persona.

El segundo eran los finales cortados. Cuando la frase dura más que el movimiento de la boca, lo fácil es recortar. El resultado es un personaje que se queda con la última palabra a medias. Pocas cosas rompen tanto una escena emotiva.

Nuestra decisión: primero la identidad

Decidimos que la voz de un personaje es parte de su identidad, igual que su cara. Si definimos su aspecto una sola vez y lo respetamos en todas las escenas, lo mismo debía pasar con cómo suena. Por eso cada personaje tiene una voz asignada en el formulario, automática o elegida por usted entre voces de hombre y de mujer, y esa voz no cambia durante toda la película.

Esto nos obligó a invertir el orden habitual. En vez de adaptar la boca a un audio cualquiera, dejamos que el modelo de vídeo anime la escena con el personaje hablando y después ajustamos la voz fija del personaje a ese movimiento.

Cómo funciona la alineación, paso a paso

  1. El director escribe o recibe las líneas de diálogo, cada una asignada a un personaje por su nombre.
  2. El modelo de vídeo genera el clip de la escena con el personaje que habla moviendo la boca.
  3. La línea se pronuncia con la voz fija de ese personaje mediante un modelo de voz.
  4. Un modelo de reconocimiento transcribe el habla para obtener el momento exacto de cada palabra.
  5. Con esos tiempos, la línea completa se estira o se comprime para ajustarse al movimiento de la boca, palabra por palabra.

El detalle importante está en el último paso: se ajusta la línea entera, no se corta palabra por palabra. Así la frase conserva su entonación natural y nunca pierde el final. Cortar sería más sencillo; estirar es lo que suena bien.

Una pregunta que nos hicieron en el equipo: si ya tenemos el texto de la línea, ¿para qué transcribirla? Porque el texto no dice cuándo se pronuncia cada palabra. Una voz hace pausas, alarga vocales, acelera en una enumeración. Solo al escuchar el audio sabemos dónde empieza y termina cada palabra, y solo con esos tiempos podemos alinear la frase con la boca de forma creíble.

Dónde se aplica

Esta alineación funciona en ocho estilos Cinemation (Wuxiamation, Celmation, Neonmation, Toymation, Toonmation, Claymation, Postermation y Panelmation) cuando hay diálogo, es decir, con el selector «Habla» en «Diálogo» o «Ambos». Shadowmation y Pixelmation no los anima un modelo de vídeo sino un motor de animación 2.5D: sus líneas se pronuncian igualmente con la voz fija de cada personaje y con subtítulos que indican quién habla, pero sin animación de la boca ni revisión de clips. La narración no necesita sincronización labial porque el narrador no aparece en pantalla. En «Mudo» no hay voz y la música se mezcla más alta.

Los subtítulos, si están activados, muestran el nombre del personaje que habla, así que la película se entiende también sin sonido.

Cómo sacarle el máximo partido

La técnica hace mucho, pero el guion hace más. Estos consejos mejoran de forma visible el resultado:

  • Líneas cortas. Una frase de una o dos oraciones cabe con naturalidad en un plano. Un párrafo entero obliga a estirar demasiado.
  • Voces distintas. Si dos personajes hablan mucho entre sí, elija voces claramente diferentes para que el oído los separe sin mirar.
  • Un personaje por línea. Cada línea tiene un único hablante. Si dos personajes dicen algo a la vez, escríbalo como dos líneas.
  • Personajes visibles. Una boca que se ve de frente se alinea mejor que un personaje de espaldas. Si la historia lo permite, ponga a quien habla mirando a cámara o a su interlocutor.

En la guía de sincronización labial y voces tiene más recomendaciones sobre cómo elegir voces para cada personaje.

Lo que no hacemos

No prometemos una sincronización perfecta en todos los fotogramas. Un modelo de vídeo a veces mueve la boca menos de lo que la frase necesita, y entonces la alineación tiene menos margen. Preferimos contarlo que esconderlo. En el nivel Premium, la revisión automática de clips vigila los defectos graves de la imagen, lo que reduce las escenas problemáticas.

Qué significa para sus películas

El resultado es sencillo de describir: su personaje suena igual en la primera escena y en la última, y sus frases terminan cuando tienen que terminar. Es lo que permite que una historia con dos o tres personajes que conversan se sienta como una película y no como una sucesión de clips. Si aún no ha probado los personajes, empiece por Personajes que hablan y cree su primera escena en Animation.

Preguntas frecuentes

¿Cómo funciona la sincronización labial en Yeşilçam Studios? En los ocho estilos Cinemation con modelo de vídeo, este anima la boca del personaje que habla y la línea se pronuncia con su voz fija; luego se alinea palabra por palabra con el movimiento gracias a los tiempos obtenidos al transcribir el habla.

¿Mi personaje tendrá la misma voz en todas las escenas? Sí. Cada personaje tiene una voz fija para toda la película, elegida automáticamente o por usted.

¿Se cortan las palabras al final de la frase? No. La línea completa se estira para ajustarse al movimiento de la boca, en lugar de recortarse palabra por palabra.

¿En qué estilos hay sincronización labial? En ocho estilos Cinemation (Wuxiamation, Celmation, Neonmation, Toymation, Toonmation, Claymation, Postermation y Panelmation) cuando el selector «Habla» está en «Diálogo» o «Ambos». En Shadowmation y Pixelmation hay voz fija y subtítulos, pero no animación de la boca.