Le persone diventano esperte di volti molto prima di diventare esperte di qualsiasi altra cosa. Leggiamo le labbra senza saperlo e ci accorgiamo in una frazione di secondo quando bocca e suono non coincidono. Per questo il video parlato è uno dei problemi più difficili del video IA, e per questo piccole scelte tecniche fanno una grande differenza. Questo articolo spiega cosa deve azzeccare la sincronizzazione labiale e come la affronta il video parlato di AI Influencer Studio.

Suoni e forme della bocca non corrispondono uno a uno

Il parlato è fatto di suoni (fonemi); le posizioni visibili della bocca si chiamano visemi. Molti suoni condividono lo stesso visema: p, b e m chiudono tutte le labbra. Altre differenze sono invisibili: k e g si formano nella parte posteriore della bocca. Un sistema di sincronizzazione labiale deve produrre la giusta sequenza di forme della bocca per il suono, non una forma per ogni lettera.

Le bocche reali, inoltre, anticipano. Le labbra si arrotondano per la «u» di «fumo» prima che la f sia finita. Questa sovrapposizione, chiamata coarticolazione, è il motivo per cui il parlato appare fluido, e il motivo per cui una bocca che scatta da una forma all’altra sembra robotica anche quando ogni singola forma è corretta.

La tolleranza sui tempi è minima

Gli spettatori tollerano un suono leggermente in ritardo sull’immagine meglio di un suono in anticipo, ma la finestra è stretta, all’incirca pochi fotogrammi. Gli errori che restano dentro questa finestra passano inosservati; quelli che si accumulano durante una frase lunga diventano evidenti. È uno dei motivi per cui un parlato lungo viene diviso in clip più brevi invece di essere generato in un unico pezzo.

Il volto deve essere visibile

La sincronizzazione labiale ha bisogno di una bocca su cui lavorare. Un volto piccolo in un’inquadratura larga, un profilo netto, una mano o una tazza davanti alla bocca, o movimenti rapidi della testa rendono meno probabili buoni risultati. Le scene pensate per parlare, con il volto grande e rivolto verso la camera, rendono sempre meglio. Quando non viene trovato alcun volto, ripiegare sulla voce fuori campo è meglio che forzare, e il costo della sincronizzazione labiale va restituito.

La lingua conta

Le lingue differiscono per velocità di eloquio, ritmo e forme tipiche della bocca. Una frase della stessa lunghezza richiede tempi diversi in turco, tedesco o italiano, ed è per questo che la durata di una clip parlata viene calcolata dal testo e dalla lingua invece che da una velocità fissa. Mescolare lingue in una stessa battuta rende meno affidabili sia la pronuncia sia il movimento della bocca.

Due approcci: prima l’audio o prima il video

Prima l’audio: si genera la voce dal testo, poi si anima un volto in base all’audio. La voce è esattamente quella giusta e il testo è esattamente quello scritto. Il punto debole è il volto: animare un ritratto esistente su una traccia audio fissa spesso muove bene la bocca, ma il resto del volto, la testa e il corpo in modo meno naturale.

Prima il video: si genera il personaggio che parla, con il parlato, in un unico passaggio. Bocca, volto, respiro e gesti vanno insieme, quindi il risultato appare più naturale. I punti deboli riguardano il controllo: la voce non è quella del tuo personaggio e le parole possono differire leggermente dal tuo testo.

Il video parlato di alta qualità combina i punti di forza. La clip viene generata prima come video, così il movimento è naturale. Il parlato viene poi convertito nella voce salvata del personaggio mantenendone i tempi, così la bocca continua a coincidere. Infine le parole pronunciate vengono trascritte e confrontate con il copione; una clip che non dice il testo in modo abbastanza fedele viene rifatta e, se anche questo non riesce, il video viene completato con il metodo audio-first come riserva, con il rimborso della differenza di prezzo. La guida al video parlato copre il lato rivolto all’utente.

Come valutare un video parlato

  • Chiusure: le labbra si chiudono completamente su p, b e m?
  • Tempi: guarda la prima e l’ultima parola di ogni frase, dove la deriva si vede per prima.
  • Volto intero: occhi, guance e testa si muovono con il parlato, o solo la bocca?
  • Giunture: nei video più lunghi, i passaggi tra le clip sono fluidi nell’immagine e nel suono?
  • Precisione: il video dice esattamente il tuo testo, con i nomi pronunciati correttamente?
  • Voce: è la stessa voce dalla prima all’ultima clip?

Cosa limita ancora la qualità

Frasi singole molto lunghe, parlato veloce, canto, urla di forte intensità emotiva e più persone che parlano in camera contemporaneamente restano difficili. I video quadrati e le battute più lunghe nelle scene usano la sincronizzazione labiale standard invece del metodo di alta qualità. E ogni controllo che migliora la qualità aggiunge anche tempo: una clip parlata richiede circa due minuti.

Domande frequenti

Perché non sincronizzare le labbra di un video qualsiasi già esistente? La sincronizzazione labiale su una clip esistente cambia solo la bocca. Se il resto del volto non si muoveva con il parlato, il risultato sembra doppiato. Generare la clip come parlato dà un volto più naturale.

Perché le clip parlate durano al massimo otto secondi? Clip più brevi tengono più saldi tempi e identità. Un testo più lungo viene diviso a fine frase e unito con transizioni brevi e morbide.

La voce del personaggio sopravvive al processo? Sì. La voce salvata con il personaggio, presa dalla libreria delle voci o clonata dalla tua, è la voce che senti in ogni clip.