Gesicht singt in einem Foto zur Musik: iPhone – und Android-App, die es kann

Der Begriff “Deepfake” überrascht aktive Internetnutzer nicht mehr. Und was vor kurzem noch als Witz galt, erscheint nun als interessante und vielversprechende Technologie. Wir verstehen unter einem Deepfake eine bestimmte fremde Figur, die mit Hilfe von neuronalen Netzwerken und maschinellem Lernen künstlich in einen Videoclip eingebettet wird. Doch die Bedeutung hinter diesem Phänomen ist viel umfassender.

Also das künstliche Altern von Fotos mit FaceApp gilt auch als Deepfake. Diese Technologie findet ständig neue Anwendungsbereiche, die vor einem Jahr noch undenkbar schienen. Früher waren wir erstaunt, wie ein altes Foto zum Leben erweckt wurde, heute kann man den Charakter auf dem Bild dazu bringen, ein ausgewähltes Lied zu singen.

Sie erinnern sich wahrscheinlich, wie die Fotos an den Wänden in den Harry Potter Filmen zum Leben erwachten. Es schien wie Magie, bis ähnliche Dienste im Internet auftauchten. Die Bilder wurden durch neuronale Netzwerke geschickt und es entstand ein kleiner Videoclip. Und doch könnte die bewegte Person in einer Zeit gelebt haben, in der sie noch nicht wussten, wie man Filme macht.

Wie animiert man ein Foto und lässt es singen?

Die Wombo-App entwickelt das Konzept der Deepfakes weiter, indem sie nicht nur ein Foto animieren, sondern auch die Bewegungen des Charakters aktiver gestalten und ihn dazu bringen kann, ein ausgewähltes Lied zu singen.

Es ist erwähnenswert, dass es für einfache Fotomanipulationen besser ist, eine spezialisierte App wie Deep Nostalgia zu wählen. Wenn Sie jedoch zusätzlich zur Animation auch eine Sprachausgabe benötigen, kann Wombo helfen. Der Service erledigt den größten Teil der Arbeit selbst. Der Benutzer muss nur ein Foto hochladen und eine Komposition aus der Liste auswählen.

1. Laden Sie die Wombo-App aus dem App Store oder Google Play herunter.

2. Gewähren Sie der Anwendung nach dem Start Zugriff auf die Fotos auf Ihrem Gerät.

3. Wählen Sie einen fertigen Schnappschuss aus der Galerie aus oder machen Sie ein neues Foto zur Verarbeitung.

Die beste Option wären Selfies, auf denen die Person direkt in die Kamera schaut und idealerweise ihre Zähne zeigt. Es lohnt sich, ein Foto auszuwählen, das diesem Kriterium am besten entspricht.

4. Du kannst die Songs innerhalb der App selbst auswählen, auch wenn es möglicherweise nicht viele Lieder gibt, passen sie perfekt auf das Gesicht des Performers.

5. Warten Sie einfach, bis die Fotoverarbeitung und -konvertierung in ein Video abgeschlossen ist.

Der eigentliche Zweck von Wombo besteht darin, den Musikgeschmack einer Person posthum zu erweitern. pic.twitter.com/Ur4SlUOV2d

— Sam Moore (@IAMSMOORES) 11. März 2021

Immer gewusst, dass die Biene aus dem benachbarten Garten eine starke Frau ist #wombo

pic.twitter.com/YudhEnPviN – Zoya Belova (@AliraSirin) 12. März 2021

Die Einzigartigkeit des Wombo-Dienstes ist offensichtlich. Es reicht nicht aus, nur ein Foto zum Leben zu erwecken – solche Dienste sind nicht mehr neu. Aber in diesem Fall werden die Charaktere je nach ausgewähltem Lied unterschiedlich animiert. Und der Musikstil beeinflusst direkt den Darstellungsstil, sodass er erheblich variieren kann.

Wie funktioniert dieser Deepfake?

Wenn man über die Vorteile von Wombo spricht, darf man seine wichtigste Funktion – die Unterstützung der Lippen-Synchronisation – nicht außer Acht lassen. Das bedeutet, dass nicht nur das Foto zur Musik animiert wird, sondern auch der Mund der Person deutlich synchron geöffnet wird, als ob das Lied tatsächlich gesungen wird. Werfen Sie einfach einen Blick auf einige Beispiele für die Verarbeitung durch neuronale Netzwerke, selbst von alten Fotos, und Sie werden verschiedene Lippenbewegungen und eine präzise Synchronisation mit dem Songtext sehen. Bei einigen Liedern ist der Effekt besonders ausgeprägt.

Obwohl es schwierig ist, über ein qualitativ hochwertiges Ergebnis für alle Fotos und Lieder zu sprechen – es ist immer noch ein unterhaltsames, aber experimentelles Projekt. Durch die Auswahl eines geeigneten Bildes kann jedoch ein besseres Ergebnis erzielt werden. Und Sie können sich selbst oder Ihre Bekannten als Darsteller sowie als öffentliche Persönlichkeiten, Politiker und sogar Tiere, Cartoonfiguren, Skulpturen und andere leblose Objekte vorstellen.

In seinem Interview enthüllte der Entwickler, dass sein neuronales Netzwerk vorgefertigte Choreografien verwendet. Das Team von Enthusiasten drehte sogar ein einfaches Video für jeden Song, nicht im Studio, sondern in einer Wohnung. Basierend darauf wurde Animation erstellt, die dann mit künstlicher Intelligenz auf den ausgewählten Rahmen gelegt wird. Derzeit sind in der App nur etwa 20 Lieder verfügbar. Sobald die Ersteller jedoch Urheberrechtsfragen lösen, wird die Liste erweitert. Es ist jedoch nicht möglich, Ihr eigenes Lied auf ein Foto hochzuladen und darüberzulegen. Dies wird durch den Wombo-Arbeitsalgorithmus perfekt erklärt.

Entwickler haben auf Sicherheitsprobleme geachtet. Benutzer können sicher sein, dass die von ihnen hochgeladenen Fotos nicht übertragen werden und nach der Verarbeitung gelöscht werden. Die resultierenden Karaoke-Videos können jedoch mit anderen über die Standard-Funktion zum Teilen geteilt werden. Und das Wombo-App ist vor allem komplett kostenlos! Die Schöpfer verdienen Geld, indem sie Werbebanner anzeigen. Und Benutzer von iOS und Android können dieses einzigartige Deepfake-Tool ausprobieren.

• Wie man ein schwarz-weißes Foto bunt macht: 4 Dienste zum automatischen Kolorieren von schwarz-weiß Fotos.
• 20 iPhone-Kamerafunktionen, die jeder Besitzer eines Apple-Smartphones kennen sollte.
• 20 iPhone-Funktionen, die die meisten Benutzer deaktivieren können.

Wie hilfreich ist dieser Beitrag?

Klicken Sie auf den Stern, um zu bewerten!

Die durchschnittliche Bewertung beträgt 4,1 / 5. Es gibt 26 Bewertungen.