Qualität sprechender Videos: warum Lippensynchronisation schwierig ist und wie Sie sie beurteilen

Menschen sind Experten für Gesichter, lange bevor sie Experten für irgendetwas anderes werden. Wir lesen von den Lippen, ohne es zu merken, und bemerken in Sekundenbruchteilen, wenn Mund und Ton nicht übereinstimmen. Deshalb ist das sprechende Video eines der schwierigsten Probleme im KI-Video, und deshalb machen kleine technische Entscheidungen einen großen Unterschied. Dieser Artikel erklärt, was Lippensynchronisation richtig machen muss und wie das sprechende Video in AI Influencer Studio dabei vorgeht.

Laute und Mundformen entsprechen sich nicht eins zu eins

Sprache besteht aus Lauten (Phonemen); die sichtbaren Mundstellungen heißen Viseme. Viele Laute teilen sich ein Visem: p, b und m schließen alle die Lippen. Andere Unterschiede sind unsichtbar: k und g entstehen hinten im Mund. Ein Lippensynchronisationssystem muss die richtige Abfolge von Mundformen für den Laut erzeugen, nicht eine Form pro Buchstabe.

Echte Münder nehmen außerdem vorweg. Die Lippen runden sich für das „u“ in „Fuß“, bevor das F zu Ende ist. Diese Überlappung, Koartikulation genannt, ist der Grund, warum Sprechen flüssig aussieht, und warum ein Mund, der von Form zu Form springt, roboterhaft wirkt, selbst wenn jede einzelne Form stimmt.

Die Toleranz beim Timing ist klein

Zuschauer tolerieren Ton, der dem Bild leicht hinterherläuft, etwas besser als Ton, der ihm vorauseilt, aber das Fenster ist schmal, ungefähr wenige Videobilder. Fehler innerhalb dieses Fensters bleiben unbemerkt; Fehler, die sich während eines langen Satzes aufbauen, werden offensichtlich. Das ist ein Grund, warum lange Rede in kürzere Clips aufgeteilt und nicht in einem Stück erzeugt wird.

Das Gesicht muss sichtbar sein

Lippensynchronisation braucht einen Mund, mit dem sie arbeiten kann. Ein kleines Gesicht in einer weiten Einstellung, ein ausgeprägtes Profil, eine Hand oder Tasse vor dem Mund oder schnelle Kopfbewegungen machen gute Ergebnisse unwahrscheinlicher. Szenen, die zum Sprechen gemacht sind, mit großem, zur Kamera gewandtem Gesicht, sehen durchweg besser aus. Wird überhaupt kein Gesicht gefunden, ist ein Ausweichen auf Voice-over besser, als es zu erzwingen, und die Kosten für Lippensynchronität sollten erstattet werden.

Die Sprache spielt eine Rolle

Sprachen unterscheiden sich in Sprechtempo, Rhythmus und typischen Mundformen. Ein Satz gleicher Länge dauert auf Türkisch, Deutsch oder Italienisch unterschiedlich lange; deshalb wird die Länge eines Sprech-Clips aus dem Text und der Sprache berechnet statt mit einer festen Rate. Wer in einer Zeile Sprachen mischt, macht sowohl Aussprache als auch Mundbewegung weniger verlässlich.

Zwei Ansätze: Audio zuerst oder Video zuerst

Audio zuerst: Die Stimme wird aus dem Text erzeugt, dann wird ein Gesicht passend zum Ton animiert. Die Stimme stimmt genau, und der Text ist genau der geschriebene. Die Schwäche ist das Gesicht: Wird ein vorhandenes Porträt zu einer festen Tonspur animiert, bewegt sich der Mund oft gut, der Rest von Gesicht, Kopf und Körper aber weniger natürlich.

Video zuerst: Der Charakter wird in einem Durchgang sprechend erzeugt, mit Sprache. Mund, Gesicht, Atmung und Gesten gehören zusammen, daher wirkt es natürlicher. Die Schwächen liegen in der Kontrolle: Die Stimme ist nicht die Stimme Ihres Charakters, und die Worte können leicht von Ihrem Text abweichen.

Das hochwertige sprechende Video verbindet die Stärken. Der Clip wird nach dem Video-zuerst-Prinzip erzeugt, sodass die Bewegung natürlich ist. Die Sprache wird dann unter Beibehaltung ihres Timings in die gespeicherte Stimme des Charakters umgewandelt, sodass der Mund weiterhin passt. Zum Schluss werden die gesprochenen Worte transkribiert und mit dem Text verglichen; ein Clip, der den Text nicht genau genug wiedergibt, wird neu erstellt, und wenn das scheitert, wird das Video ersatzweise nach dem Audio-zuerst-Prinzip fertiggestellt und die Preisdifferenz erstattet. Der Leitfaden zum sprechenden Video behandelt die Seite für Nutzer.

So beurteilen Sie ein sprechendes Video

• Lippenschluss: Schließen sich die Lippen bei p, b und m vollständig?
• Timing: Achten Sie auf das erste und das letzte Wort jedes Satzes, dort zeigt sich Abdriften zuerst.
• Ganzes Gesicht: Bewegen sich Augen, Wangen und Kopf mit der Sprache oder nur der Mund?
• Übergänge: Sind bei längeren Videos die Übergänge zwischen den Clips in Bild und Ton sauber?
• Genauigkeit: Sagt das Video genau Ihren Text, mit korrekt ausgesprochenen Namen?
• Stimme: Ist es vom ersten bis zum letzten Clip dieselbe Stimme?

Was die Qualität noch begrenzt

Sehr lange einzelne Sätze, schnelles Sprechen, Gesang, starkes emotionales Schreien und mehrere Personen, die gleichzeitig vor der Kamera sprechen, bleiben schwierig. Quadratische Videos und längere Zeilen in Szenen nutzen die Standard-Lippensynchronisation statt des hochwertigen Verfahrens. Und jede Prüfung, die die Qualität verbessert, kostet auch Zeit: Ein Sprech-Clip braucht etwa zwei Minuten.

Häufige Fragen

Warum nicht einfach jedes vorhandene Video lippensynchronisieren? Lippensynchronisation auf einem vorhandenen Clip verändert nur den Mund. Hat sich der Rest des Gesichts nicht mit der Sprache bewegt, wirkt das Ergebnis synchronisiert. Wird der Clip als Sprache erzeugt, entsteht ein natürlicheres Gesicht.

Warum sind Sprech-Clips höchstens acht Sekunden lang? Kürzere Clips halten Timing und Identität enger beisammen. Längere Texte werden an Satzgrenzen aufgeteilt und mit kurzen, weichen Übergängen verbunden.

Bleibt die eigene Stimme des Charakters dabei erhalten? Ja. Die mit dem Charakter gespeicherte Stimme, aus der Stimmenbibliothek oder Ihre eigene geklonte Stimme, ist die Stimme, die Sie in jedem Clip hören.