# data[].attributes.body
Ein Deepfake oder Deep Fake ist ein mit Hilfe künstlicher Intelligenz erstelltes Bild oder Video, das authentisch wirkt, es aber nicht ist

# data[].attributes.attachment_link.title
You Won’t Believe What Obama Says In This Video! 😉

# data[].attributes.attachment_link.readable_text
KI in der Praxis

Newsletter
Deepfakes schnell und einfach erstellen - das geht mit Programmen wie Reface oder DeepFaceLab. So benutzt ihr sie.
Als im Herbst 2017 das erste Mal im großen Stil Deepfake-Videos auftauchten, war klar: Künstliche Intelligenz ist aus den hochgezüchteten Serverfarmen bei Heimnutzern angekommen.

Anfang 2018 verbreitete sich die "FakeApp", mit der Nutzer relativ einfach Gesichter in Videos austauschen können. Neben Nicolas-Cage-Fakes wurde die App vor allem für Fake-Pornos von Prominenten genutzt. Das sorgte für Proteste im Internet. Am Ende wurden entsprechende Unterforen und Kanäle bei Reddit sowie weitere Plattformen gelöscht. Die offizielle FakeApp-Website ist mittlerweile nicht mehr erreichbar.

Doch die Dose der Pandora blieb offen und Alternativen zur FakeApp entstanden. Einige haben aus den Fehlern der ersten Deepfake-App gelernt. Einfach zu bedienende Apps wie Reface (früher Doublicat) oder Impressions verbieten explizit fragwürdige Videos oder setzen auf automatische Erkennung und Blockierung solcher Inhalte.

Solche Apps schaffen ansehnliche Deepfakes in wenigen Minuten. Doch wer wirklich glaubwürdige Deepfakes möchte, greift zur derzeit besten Deepfake-Software DeepFaceLab. Wir zeigen euch den Weg zum eigenen, überzeugenden Deepfake.

Reface & Impressions: Der schnellste Weg zum eigenen Deepfake

Beide Apps haben Deepfakes erfolgreich in den Mainstream gebracht: Reface ist eine der meist heruntergeladenen Android-Apps und laut Entwickler Neocortext unter den Top-5-Apps in knapp 100 Ländern.

Reface erlaubt es, mit wenig Aufwand das eigene Gesicht als Deepfake über eine ganze Reihe von Videos im GIF-Format zu legen - vollständig automatisiert. Die Nutzung ist leicht: App herunterladen, Selfie machen oder Foto einer Person hochladen und eines von unzähligen Videos auswählen. Eigene Videos lassen sich auch auswählen, sofern ein Premium-Account vorhanden ist.

Per Knopfdruck lädt die App das Foto in die Google-Cloud und ein GAN-Netzwerk tauscht in wenigen Sekunden das Gesicht im Zielvideo aus. Laut Neocortext werden die Nutzerfotos spätestens nach einer Stunde gelöscht.

Impressions verfolgt einen anderen Ansatz: Nutzer drehen kurze Videos und tauschen ihr eigenes Gesicht mit dem eines Prominenten aus. Die App bietet eine ganze Reihe solcher vorgefertigten Profile zur Auswahl, von Nicolas Cage bis Barack Obama.

Der Gesichtertausch in Impressions dauert je nach Account-Status einige Minuten bis eine halbe Stunde. Premium-Nutzer werden bevorzugt und können unbegrenzt Videos erstellen.

Die Technologie von Reface und Impressions ist Deepfake-Fastfood: Leicht zu bekommen, schnell gemacht und das Ergebnis kann täuschen, wenn man nicht zu genau hinsieht. Wer allerdings mehr will und die Qualität der Deepfake-Videos großer YouTube-Kanäle erwartet, ist hier falsch.

DeepFaceLab 2.0: Die beste Deepfake-App

DeepFaceLab bietet zwar kein nutzerfreundliches Interface wie Reface, aber dafür aktuellere Algorithmen und mehr Einstellungsmöglichkeiten, die bessere Ergebnisse ermöglichen.

Der größte Unterschied: Während etwa Reface für jeden Gesichtstausch das gleiche KI-Modell nutzt, könnt ihr mit DeepFaceLab einen eigenen Algorithmus für jedes Gesicht trainieren.

Eine funktionsfähige Version von DeepFaceLab für Windows gibt es kostenlos bei Github. Sie setzt auf Googles Machine-Learning-Framework TensorFlow und benötigt eine Nvidia-Grafikkarte. Ältere Versionen sind mit AMD-Karten kompatibel.

Mit DeepFaceLive gibt es mittlerweile einen Ableger für DeepFaceLab, mit dem sich Deepfakes in Live-Streaming und Videokonferenz-Anwendungen integrieren lassen. DeepFaceLive beruht auf DeepFaceLab und ist ebenfalls als Open Source bei Github verfügbar.

DeepFaceLab 2.0: In vier Schritten zum eigenen Deepfake

DeepFaceLab bietet kein klassisches Desktop-Interface. Stattdessen müsst ihr die Software über einige .bat-Dateien ausführen, die ihr im heruntergeladenen Ordner findet. Damit könnt ihr alle notwendigen Deepfake-Arbeitsschritte ausführen. Per Klick wird der in der .bat-Datei hinterlegte Python-Code ausgeführt.

Schritt 1: Trainingsdaten vorbereiten (15 bis 30 Minuten)

Für den Deepfake müssen zuerst Quell- und Zielvideo festgelegt und im Workspace-Ordner von DeepFaceLab hinterlegt werden. Das Quellvideo („data_src.mp4") liefert das Gesicht, das ihr faken und über das Zielvideo („data_dst.mp4") legen wollt. Alternativ könnt ihr statt eines Quellvideos einen fertigen Gesichtsdatensatz nutzen.

Für meine Demonstration nutze ich die mitgelieferten Videos von Robert Downey Jr. und Elon Musk. Nachdem beide Videos bereitstehen, müssen sie in einzelne Bilder aufgeteilt und anschließend die jeweiligen Gesichter erkannt und in separate Fotos extrahiert werden. Für jeden Arbeitsschritt gibt es eine eigene .bat-Datei für Quell- und Zielvideo.

Bei der Aufteilung kann es je nach Länge des Quellvideos reichen, nur jedes zweite oder vierte Bild abzugreifen. Für das Zielvideo muss jedoch jedes einzelne Bild aufgeteilt werden, da schließlich in jedem Bild das Gesicht ausgetauscht werden soll.

Gesichter extrahieren & überprüfen

Nachdem das Video aufgeteilt wurde, extrahiere ich die Gesichter. DeepFaceLab bietet drei Möglichkeiten: „Face" umfasst das Gesicht ohne Stirn, „Whole face" das Gesicht inklusive Stirn und „Head" umfasst eine per Hand festgelegte Fläche. Das erlaubt etwa auch Haare mit in den Deepfake zu übernehmen. Dafür muss allerdings das XSeg-Werkzeug genutzt werden, um per Hand in einigen Dutzend Fotos die gewünschte Gesichtsmaske zu markieren. Anschließend kann ein XSeg-Netz trainiert werden, das anhand der Beispiele lernt, den Kopf auf den restlichen Fotos auszuschneiden. „Head" ist also wesentlich arbeitsintensiver und auch nach dem Training des XSeg-Netzes muss häufig noch einmal per Hand nachgearbeitet werden.

Ich wähle daher „Whole face" und überprüfe anschließend die Fotos mit dem mitgelieferten XnView-Werkzeug, das ich über eine eigene .bat-Datei starte. In der Ansicht werden alle Gesichts-Bilder angezeigt. Unscharfe Bilder und Bilder, in denen das Gesicht verdeckt oder über den Bildrand geht, sollten gelöscht werden.

Profis nutzen üblicherweise Datensätze von circa 5.000 Gesichtsfotos aus unterschiedlichen Winkeln. Je besser der Datensatz, desto besser das Ergebnis. Für meinen Test habe ich lediglich 650 Fotos verwendet. Da mein Zielvideo jedoch eine Frontalaufnahme von Elon Musk mit wenig Änderungen im Aufnahmewinkel oder Beleuchtung ist, reicht die geringe Datenmenge dennoch für ein akzeptables Ergebnis.

Das klappt super, nur wenige Bilder zeigen kein Gesicht. Die lösche ich manuell. Meine Trainingsdaten sind bereit.

Schritt 2: KI-Training (circa 17 Stunden)

Nun beginnt das eigentliche Training der KI, an dessen Ende ein ausgereiftes Deepfake-Modell stehen soll. Ich trainiere mein Modell komplett neu, um das Vorgehen zu dokumentieren.

Es ist jedoch meist einfacher, ein bereits vortrainiertes Modell herunterzuladen, das den eigenen Wünschen und der eigenen Hardware entspricht. Das Modell kann anschließend auf den Wunsch-Deepfake spezialisiert werden. Der Trainingsablauf ist identisch zum beschriebenen Vorgehen. Es muss lediglich die Variable „pretrain" in den Einstellungen des Algorithmus vor dem Trainingsstart auf „false" gesetzt werden.

Erste Trainingsrunde

DeepFaceLab bietet zwei verschiedene Algorithmen, die unterschiedliche Hardware-Anforderungen haben und verschiedene Ergebnisse liefern. Ich wähle den empfohlenen SAEHD-Algorithmus. Der produziert die glaubwürdigsten Fakes, braucht aber starke Hardware. Der Quick96-Algorithmus wird nur für schnelle Experimente empfohlen.

Vor dem Training lässt sich der Algorithmus mit zahlreichen Einstellungen modifizieren. Ich wähle eine Auflösung von 256 x 256 Bildpunkten für das generierte Gesicht im Modus „Whole face", die Anzahl gleichzeitig trainierte Bilder setze ich auf drei (Batch-size). Höhere Auflösungen oder Batch-Größen brauchen mehr GPU-Speicher. Ich trainiere auf meiner RTX 3060 Ti mit 8 Gigabyte.

Ich aktiviere außerdem „random_flip" und „random_warp". Dadurch spiegelt und verändert der Algorithmus die Trainingsfotos zufällig. Das macht das KI-Training abwechslungsreicher und verbessert das Ergebnis. Alle anderen Einstellungen verändere ich nicht.

Das Training beginnt und ich kann den Fortschritt in Zahlen und Bildern beobachten. Am Anfang sehe ich nur schwammigen Pixelbrei. Nach einigen Iterationen zeichnen sich erste Gesichter ab. Die gängige Empfehlung für ein gutes Ergebnis sind 50.000 - 100.000 Iterationen plus eventuelles Nachtraining.

Nachtraining für ein besseres Ergebnis

Ich mache nach etwa 45.000 Iterationen eine Pause und verändere ein paar Einstellungen, um das Ergebnis zu verfeinern. Ich deaktiviere „random_warp" und aktiviere „eyes_mouth_prio". Das hilft bei Mund- und Augenposition.

Die deutlichste Verbesserung bringt die Option „gan_power". Die zwingt das neuronale Netz, feine Details im Gesicht zu lernen. Ich stelle den Wert auf 0.15 und starte das Training erneut. Schon nach etwa 2.500 Iterationen werden die Deepfake-Gesichter in der Vorschau deutlich schärfer.

Nach knapp 100.000 Iterationen und etwa 17 Stunden stoppe ich das Training. Auf den Bildern sind deutlich die Gesichter von Elon Musk und Robert Downey Jr. zu erkennen.

Mein KI-Modell ist bereit.

Schritt 3: Das Gesicht kopieren (circa 20 Minuten)

Nun wende ich das KI-Modell für meinen Deepfake an: Ich starte den Konvertierungsbefehl („merge SAEHD.bat"). Falls gewünscht, legt die KI jetzt vollautomatisch passende Downey-Jr.-Gesichter über alle extrahierten Bilder des Ziel-Videos.

Ich wähle jedoch den „Interactive Merger" aus. Der Merger öffnet sich in einem separaten Fenster. Dort können über die Tastatur alle Bilder per Hand nachbearbeitet werden. So lassen sich etwa verschiedene Farbprofile für das Fake-Gesicht wählen, das gesamte Bild oder nur das Gesicht mit Schärfe- oder Unschärfeeffekten verändern oder die Größe des Gesichts ändern.

Ich passe die Farbe an und lege etwas Unschärfe über das Gesicht - mein Deepfake-Robert ist nämlich schärfer als der Rest des Musk-Videos.

Nachdem ich mit dem Ergebnis zufrieden bin, führe ich die Konvertierung zu Ende. Nun habe ich knapp 1.600 einzelne Bilder mit ausgetauschten Gesichtern.

Schitt 4: Das Video zusammensetzen (5 Minuten bis mehrere Tage)

Spätestens an diesem Punkt gehen Profi und Amateure verschieden Wege. Während ich per Doppelklick in wenigen Minuten alle Fotos automatisiert per .bat-Datei zusammensetzen lasse, nutzten Profis Compositing-Software wie Adobe After Effects oder Davinci Resolve, um etwa Übergänge zwischen Fake-Gesicht und Kopf zu verschönern oder die Farbgebung in dynamischer Beleuchtung anzupassen.

Je nach Länge und Art des Clips kann das mehrere Stunden bis einige Tage in Anspruch nehmen. Eine Anleitung für den Profi-Prozess gibt es auf YouTube.

Fazit: Deepfake 2019 vs. 2021 - bessere Qualität bei geringerem Trainingsaufwand

Doch selbst ohne Profi-Werkzeug, riesigen Datensatz und vortrainiertes Modell: Mein neuer Deepfake ist ein deutlicher Schritt nach vorne gegenüber meinem ersten Versuch mit Deepfacelab 1.0.

Deepfake 2019

Deepfake 2021

Das zeigt, dass die Fortschritte der letzten Jahre bei Künstlicher Intelligenz die Erstellung glaubwürdiger Deepfakes deutlich leichter gemacht haben. DeepFaceLab 2.0 bietet höhere Auflösungen, feinere Details im Gesicht, effizienteres Training und viele andere Verbesserungen gegenüber der ersten Softwareversion.

Zugänglicher ist DeepFaceLab jedoch nicht geworden. Der gerade entstehende „ Machine Video Editor " will das ändern: Er integriert DeepFaceLab mit anderen Videobearbeitungsfeatures und bietet ein Interface, das die einzelnen Funktionen zusammenbringt. Die Entwicklung des Editors steht zwar noch am Anfang und es gibt nicht einmal eine rudimentäre Bedienungsanleitung. Doch in ein paar Monaten könnten solche KI-Editoren das Deepfaken gerade Anfängern stark erleichtern.

Keine schnelle Nvidia Grafikkarte? Kein Problem

Wer keine Nvidia-Karte oder nur eine langsame GPU hat, kann DeepFaceLab auch über Googles Colab nutzen. Colab ist ein kostenloses Jupyter Notebook, das Computer-Code und Textelemente enthalten kann und in der Cloud läuft.

So könnt ihr jeden erdenklichen Code ausführen - auch DeepFaceLab. Google erlaubt bis zu zwölf Stunden KI-Training am Stück. Das entsprechende Colab-Notebook findet ihr hier. Eine ausführliche Anleitung für die Einrichtung steht im mrdeepfakes-Forum.

Das Training per Colab richtet sich allerdings an diejenigen, die den grundlegenden Deepfake-Prozess bereits verstanden haben. Anfänger werden sich mit dem Cloud-Training schwertun und sollten zunächst mit lokalem Training experimentieren oder sich ausführlich in Colab und das Deepfake-Training einlesen.

Weiterlesen über Künstliche Intelligenz

# data[].attributes.attachment_link.title
Deepfake erstellen: So geht es, so lange dauert es

# data[].attributes.attachment_link.description
Deepfakes schnell und einfach erstellen - das geht mit Programmen wie Reface oder DeepFaceLab. So benutzt ihr sie.

# data[].attributes.body
Hier ein Podcast von 1Live, indem auf eine der ethischen Schattenseiten von Deepfake Technologie eingegangen wird.

# data[].attributes.attachment_link.title
1LIVE Intimbereich - “Das bin nicht ich in diesem Porno” - Deepfake-Pornos

# data[].attributes.attachment_link.description
Deepfakes werden immer populärer - sehen echt aus, sind es aber nicht. Solche Videos sind durch KI entstanden und diese Technik wird auch gerne für Fake-Pornos genutzt, mit Prominenten aber auch mit ganz “normalen” Menschen. Max Humpert vom Funk-Format “Reporter” hat über das Thema einen ganzen Yout…

# data[].attributes.body
Ein Quiz um sich selbst zu testen :)

# data[].attributes.attachment_link.description
Deepfake-Videos erobern das Internet. Manche sind leicht zu erkennen, weil schlecht oder besonders absurd gemacht. Aber sind “normale” schon gut genug? Machen Sie den Test

# data[].attributes.body
Die "Künstliche Intelligenz" in Deepfake-Technologie lernt durch
"Fütterung" mit möglichst vielen Fotos von der gewünschten Person, wie ihr Gesicht
sich bewegt. Je nachdem wie ausführlich die KI lernen kann (also abhängig auch von
der Fülle des Materials) kann die KI das Erlernte übertragen und eine täuschend echte Imitation des Gesichtes erstellen.

# data[].attributes.body
Machine Learning ist eine Anwendung künstlicher Intelligenz.
Die Systeme lernen hier sozusagen stetig selbst weiter, lernen automatisch Muster und Zusammenhänge aus Daten und verbessern sich selbst, ohne explizit programmiert zu sein.

# data[].attributes.body
Deep Learning bezeichnet einen Teilbereich des Machine Learnings. Hier werden künstliche neuronale Netze mit zahlreichen Zwischenschichten zwischen Eingabeschicht und Ausgabeschicht einsetzt und dadurch eine umfangreiche innere Struktur herausbildet. Es ist eine spezielle Methode der Informationsverarbeitung.

# data[].attributes.body
Ein Algorithmus ist eine eindeutige Handlungsvorschrift zur Lösung eines Problems oder einer Klasse von Problemen.

# data[].attributes.headline
Etwas einfacher: Erklärvideo zu den wichtigstens Begriffen :)

# data[].attributes.subject
Etwas einfacher: Erklärvideo zu den wichtigstens Begriffen :)

# data[].attributes.attachment_link.title
KÜNSTLICHE INTELLIGENZ vs. MACHINE LEARNING vs. DEEP LEARNING

# data[].attributes.body
Das Fraunhofer Institut fokussiert in seiner Forschung den Sicherheitsbereich.
Hierfür werden zunächst Bereiche getrennt, in denen die Technologie unterschiedliche
Risiken für Wirtschaft und Gesellschaft darstellt darstellt:

VoiceID-Systeme

ID-Provider

Kriminalistik

Social Engineering

# data[].attributes.attachment_link.readable_text
Deep Fakes sind Medieninhalte, die durch den Einsatz von Künstlicher Intelligenz gezielt völlig automatisiert manipuliert und über soziale Netzwerke verbreitet werden. Was als Spielerei in der digitalen Welt begann, entwickelt sich immer mehr zur realen Bedrohung für Unternehmen und Politik. Die Abteilung Cognitive Security Technologies am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC forscht an der Schnittstelle zwischen Künstlicher Intelligenz und IT-Sicherheit und hat vier Bereiche identifiziert, in denen Deep Fakes bereits heute zur Herausforderung geworden sind.
Die Manipulation von Bildmaterial gehört mittlerweile zu unserem Alltag: Nicht nur in Zeitschriften oder auf Dating-Portalen wird mit Bildbearbeitungsprogrammen nachgeholfen, auch in sozialen Medien sind manipulierte Bilder allgegenwärtig. Das stellt auch Polizei, Gerichtswesen und Versicherungen zunehmend vor die Herausforderung, Originale von Fälschungen zu unterscheiden. Geschulte Fachkräfte unterstützen dabei, Bildmanipulationen z.B. bei Verdacht auf Betrug aufzudecken.

Mit Video- oder Audiomaterial verhielt es sich bislang noch anders: Aufgrund des dynamischen Inhalts ist die Anfertigung hochwertiger Fälschungen herausfordernder. Für eine Minute gefälschtes Videomaterial mit 30 Frames pro Sekunde müssten 1.800 Bilder manipuliert werden; und zwar so, dass sie alle nahtlos ineinander übergehen. Ähnliches gilt für Audiomaterial. Durch herkömmliche Methoden waren solche Fälschungen nahezu unmöglich, und Video- und Audiomaterial zählten damit lange als die letzte Bastion in Sachen Vertrauen und Authentizität in digitalen Medien.
Manipulation durch Machine Learning
Durch den Einsatz von Machine Learning und Methoden der Künstlichen Intelligenz ändert sich die Bedrohungslage: Hochwertige Video-Fälschungen können mittlerweile mit frei verfügbarer Open-Source-Software automatisiert erstellt werden. Und auch die gezielte Manipulation von Audio-Dateien ist technisch so weit ausgereift, dass einer Person in der digitalen Welt ein beliebiger Satz sozusagen "in den Mund gelegt" werden kann - vorausgesetzt, es steht genug Ausgangsmaterial zur Verfügung, um die KI zu trainieren. Insbesondere bei Personen des öffentlichen Lebens stellt das angesichts der Menge an Daten, die auf den gängigen Social-Media-Plattformen zur Verfügung stehen, keine wirkliche Hürde mehr dar.

"Der Name Deep Fake ist eine Komposition aus ‚Fake' für Fälschung und ‚Deep', was auf die zugrunde liegenden tiefen neuronalen Netze hinweist", erklärt Nicolas Müller, wissenschaftlicher Mitarbeiter und Experte für Machine Learning am Fraunhofer AISEC. "Diese Netze ähneln entfernt der Struktur des menschlichen Gehirns und bestehen aus mehreren Millionen künstlichen Neuronen, die in der Lage sind, komplizierte Aufgaben zu lernen."

Konkret bedeutet das, dass ein derartiges Netz mit Video- bzw. Audiomaterial einer Zielperson trainiert werden kann und so lernt, den Gesichtsausdruck oder die Sprachmelodie der Zielperson zu imitieren, um beliebiges Video- oder Audiomaterial zu generieren - mehrere Minuten an Sprachaufnahmen sind hier bereits ausreichend.

Eine Demonstrator-Software, die am Fraunhofer AISEC entwickelt wurde, zeigt beispielsweise, wie Angela Merkel beliebige Sätze in den Mund gelegt werden, ihre Stimme also geklont werden kann.
Bedrohung für Wirtschaft und Gesellschaft
Aufgrund der gesellschaftlichen Brisanz haben die Forschenden am Fraunhofer AISEC das Thema schon frühzeitig in den Fokus ihrer Untersuchungen gestellt. Dabei konnten die Sicherheitsexperten vier Bereiche identifizieren, in denen Deep Fakes bereits jetzt zur realen Herausforderung geworden sind:

VoiceID-Systeme: Um sich am Telefon bei einer Bank, einer Versicherung oder einem Mobilfunkanbieter zu legitimieren, werden zunehmend Voice-ID-Systeme eingesetzt. Der Nutzer wird bei einem Anruf anhand der Stimme identifiziert: Der Stimme kommt also die Bedeutung eines Passworts zu. Eine Fälschung der Stimme kann einen Angreifer beispielsweise legitimieren, Überweisungen zu tätigen oder ganze Konten zu leeren.

ID-Provider: Anbieter von digitalen Identitäten erlauben es Kunden, rein digital über das Internet ihre Identität zu bestätigen. Diese Identitäten können anschließend genutzt werden, um Bankkonten zu eröffnen oder Verträge abzuschließen. Deep Fakes ermöglichen hier nicht nur Angriffe auf Privatpersonen (Person A handelt im Namen von Person B); sondern ermöglichen auch Straftaten wie Geldwäsche, da beliebige Bankkonten erzeugt werden können.

Kriminalistik: Deep Fakes können dazu eingesetzt werden, Beweismittel zu fälschen oder Straftaten zu verschleiern. Aufnahmen von Stimmen und Geräuschen werden häufig als Beweismittel zugelassen, um Betrüger zu überführen. Die Manipulation dieser Aufnahmen stellt eine große Herausforderung für die Justiz und das Rechtssystem dar.

Social Engineering: Nicht zuletzt öffnen Deep Fakes auch Trickbetrügern Tür und Tor. Im Bereich Social Engineering, also der gezielten Irreführung von Zielpersonen mit dem Zweck, an sensible Informationen zu gelangen und Zugriffsrechte auf IT-Systeme zu erhalten, eröffnen sich durch Deep Fakes neue Risiken.

Deep Fakes erkennen und Risiken minimieren
Durch den gezielten Einsatz von Methoden des Maschinellen Lernens wird die Bedrohung der digitalen Identität durch Deep Fakes weiterhin zunehmen.

Eine Antwort auf diese Bedrohung ist die KI-gestützte Erkennung von Deep Fakes. Denn so, wie Neuronale Netze die Erstellung lernen können, so können sie auch für die Erkennung von gefälschtem Material trainiert werden. Dies funktioniert, indem man ihnen eine Reihe echter und manipulierter Aufnahmen vorführt. Dadurch kann das Netz lernen, kleinste Unstimmigkeiten zu erkennen, die ein Mensch mit bloßem Auge übersehen würde. Derartige KI-Algorithmen sind dann in der Lage, automatisiert zu entscheiden, ob eine gegebene Audio- oder Videodatei echt oder nicht ist.

Die Forschenden am Fraunhofer AISEC entwickeln Lösungen, die auch Unternehmen oder Ministerien bei der Erkennung von Video- und Audio Deep Fakes unterstützen und vermitteln das nötige Know-how im Umgang mit Deep Fakes in entsprechenden Schulungen.

# data[].attributes.attachment_link.description
Deep Fakes sind Medieninhalte, die durch den Einsatz von Künstlicher Intelligenz gezielt völlig automatisiert manipuliert und über soziale Netzwerke verbreitet werden. Was als Spielerei in der digitalen Welt begann, entwickelt sich immer mehr zur realen Bedrohung für Unternehmen und Politik.

# data[].attributes.body
Studien erforschen, wie stark Deepfakes in Sicherheitsbereiche eingreifen können
und kommen zu sehr erschreckenden Ergebnissen:
Korshunov und Marcel können hier zeigen, dass zwischen 80 und 90% der Gesichtserkennungssoftware Deepfakes nicht erkennt und passwortgeschützte Geräte entsperrt.

# data[].attributes.attachment_link.title
DeepFakes: a New Threat to Face Recognition? Assessment and Detection

# data[].attributes.attachment_link.description
It is becoming increasingly easy to automatically replace a face of one person in a video with the face of another person by using a pre-trained generative adversarial network (GAN). Recent public scandals, e.g., the faces of celebrities being swapped onto pornographic videos, call for automated ways to detect these Deepfake videos.

# data[].attributes.body
Durch die Evaluation vieler Deepfakes konnten in dieser Studie charakteristische visuelle Merkmale gefunden werden, mit denen sich Deepfakes in vielen Fällen
erkennen lassen. Diese visuellen Kennzeichen sind bei einmaligen Hinsehen nicht sofort erkennbar, aber bieten beispielweise einen Anknüpfpunkt für KI Technologie,
die lernen kann, Deepfakes aufzuspüren. Das ist deshalb schwierig, weil Deepfake Technologie bereits über zwei Algorithmen funktioniert, die sich im Prozess
gegenseitig korrigieren, bis der "Bewertende"-Algorithmus die Fälschung nicht mehr als Solche erkennen kann.
(Hinweis: Zugriff auf Studie nur, wenn ihr im UniVPN eingeloggt seid!)

# data[].attributes.attachment_link.title
Exploiting Visual Artifacts to Expose Deepfakes and Face Manipulations

# data[].attributes.attachment_link.description
High quality face editing in videos is a growing concern and spreads distrust in video content. However, upon closer examination, many face editing algorithms exhibit artifacts that resemble classical computer vision issues that stem from face tracking and editing. As a consequence, we wonder how difficult it is to expose artificial faces from current generators?

# data[].attributes.body
Dieter Baacke erklärt hier seine vier Dimensionen der Medienkompetenz

# data[].attributes.attachment_link.description
Dieter Baacke beschreibt sein Konzept von Medienkompetenz

# data[].attributes.body
Durch neue Technologie verändern sich auch die Anforderungen an Nutzer:innen, um "Medienkompetenz" zu besitzen.
Beispielweise Medienkritikfähigkeit:

Bewegtbilder wurde lange Zeit eine Art Beweischarakter zugesprochen wurde, weil es ermöglicht mit den eigenen Ohren zu hören und den eigenen Augen zu sehen. Deepfakes brechen dieses Vertrauen auf. Ein Bewusstsein hierüber, dass alles gefälscht sein kann ist daher unerlässlich.

# data[].attributes.headline
Die richtigen Worte finden: Mediennutzung

# data[].attributes.subject
Die richtigen Worte finden: Mediennutzung

# data[].attributes.body
Bei digitalen Medien handelt es sich, wie bei analogen Techniken auch, um "verflachende" Prozesse. Die tiefergehenden Vorgänge hinter der angewandten Hilfe durchschauen die Anwender:innen meist nicht, können trotzdem (oder gerade deshalb) sehr effizient damit arbeiten.

Die Arbeit mit KI (Mediennutzung) verlangt ein ausgeprägteres Verständnis der Funktionsweise und "Perspektive" der KI um zu einem zufriedenstellenden Ergebnis zu gelangen.

Beispiele für schlechte Kommunikation mit KI zeigt Janelle Shane im Video :)

# data[].attributes.attachment_link.title
The danger of AI is weirder than you think | Janelle Shane

# data[].attributes.body
Gillian Wearing, setzt den Fokus in ihren Werken auf die Unsicherheit und das Unbehagen das Deep-Fake Technologie in der Gesellschaft auslöst

# data[].attributes.attachment_link.description
art video installation - Gillian Wearing is a Turner Prize-winning British artist whose most recent work takes cues from innovative AI technology in the form of an art vide...

# data[].attributes.body
Janna Avner kontrastiert den gesellschaftlichen Verfall durch Fake News und Desinformation durch die Nutzung von klassischen Materialien wie dem Ölgemälde: TFW Sick of Fake News

# data[].attributes.body
Tamiko Thiel thematisiert das Spannungsverhältnis von Intimität und Manipulation, welches Deepfakes schaffen

# data[].attributes.attachment_link.title
"Lend Me Your Face!" (collage) - AI Deepfake Art Installation

# data[].attributes.body
EZRyderX47 - YouTube
Der Künstler EZRyderX47 ist ein Digitaleffektspezialist und erstellt faszinierenden wie auch beunruhigende Deepfake-Videos. Hierbei tauscht er die Hauptrollen aus weit verbreiteten durch andere Schauspieler aus.

# data[].attributes.attachment_link.description
I’m a French Canadian from Quebec. I learned how to create deepfakes by myself with youtube tutorials and forums. If you have a project, send me an email.

# data[].attributes.body
Top 10 Deepfake Videos - YouTube Hier ein paar Beispiele, die euch einen kleinen Einblick in die Möglichkeiten der Deepfakes geben.

# data[].attributes.body
Deep-Fake oder Realität? "Gruselige" Videos von Tom Cruise verbreiten sich auf TikTok - YouTube
Diese Videos gingen auf TikTok viral. Nur, dass anfangs niemand wusste, dass "Tom Cruise" gar nicht Tom Cruise ist.

# data[].attributes.attachment_link.title
Deep-Fake oder Realität? "Gruselige" Videos von Tom Cruise verbreiten sich auf TikTok

# data[].attributes.body
Logan Of Rivia - Hugh Jackman as The Witcher [ deepfake ] - YouTube
Hugh Jackman als The Witcher? Deepfake macht es möglich.

# data[].attributes.attachment_link.title
Logan Of Rivia - Hugh Jackman as The Witcher [ deepfake ]

# data[].attributes.body
Robert Downey Jr and Tom Holland in Back to the future - This is heavy! [ deepfake ] - YouTube
Robert Downey Jr and Tom Holland ersetzen in diesem Deepfake-Clip die Hauptrollen in Back to the future.

# data[].attributes.attachment_link.title
Robert Downey Jr and Tom Holland in Back to the future - This is heavy! [ deepfake ]

# data[].attributes.headline
First Order Motion Model for Image Animation

# data[].attributes.subject
First Order Motion Model for Image Animation

# data[].attributes.body
DeepFakes einfach generieren - Tutorial + News - YouTube
Hier findet ihr ein Tutorial für verschiedene Deepfake-Tools. Das dazugehörige Dokument findet ihr hier: First order model (aliaksandrsiarohin.github.io)

# data[].attributes.attachment_link.title
DeepFakes einfach generieren - Tutorial + News

# data[].attributes.body
Selbstversuch: Wie macht man ein Deepfake-Video? | Selbstversuch | BR24 - YouTube
Hier noch ein weiteres Video, in dem ein Deepfake erstellt und erklärt wird.
Wichtig für das Erstellen eines wirklich guten Deepfake sind eine gewisse Rechenleistung des Computers/Laptops, hochwertiges Videomaterial und Geduld, da das Arbeiten der KI oftmals auch 1-2 Tage dauern kann.

# data[].attributes.attachment_link.title
Selbstversuch: Wie macht man ein Deepfake-Video? | Selbstversuch | BR24

# data[].attributes.body
Jede STIMME DEEPFAKEN mit diesem PROGRAMM [Einfach] / Descript / Deepfake erstellen Tutorial deutsch - YouTube
In diesem Tutorial erfahrt ihr, wie ihr kinderleicht einen Deepfake eurer eigenen Stimme kreieren könnt. So könnt ihr von einer KI jeden beliebigen Text (auf Englisch) mit eurer eigenen Stimme vorlesen lassen.

# data[].attributes.attachment_link.title
Jede STIMME DEEPFAKEN mit diesem PROGRAMM [Einfach] / Descript / Deepfake erstellen Tutorial deutsch

# data[].attributes.body
Overdub: Ultra realistic text to speech voice cloning - Descript
Das passende Video zu dieser App findet ihr in der Spalte "Tutorials". Diese App bietet eine kostenlose 7-Tage-Probeversion an, mit der ihr eure eigene Stimme klonen könnt, sodass eine KI beliebige Texte mit eurer Stimme vorlesen kann.

# data[].attributes.attachment_link.title
Overdub: fix audio mistakes by typing | AI voice generation for editing

# data[].attributes.attachment_link.description
Save hours of editing with Overdub AI voice generation, built into an all-in-one video and podcast editor.

# data[].attributes.body
Die App DeepFaceLab wird auch in den Tutorials aufgegriffen und ist eins der besten DeepFake-Programme, die es zur Zeit kostenlos gibt. Downloaden könnt ihr es hier:
DeepFaceLab download | SourceForge.net
oder: GitHub - iperov/DeepFaceLab: DeepFaceLab is the leading software for creating deepfakes.

# data[].attributes.attachment_link.description
Download DeepFaceLab for free. The leading software for creating deepfakes. DeepFaceLab is currently the world's leading software for creating deepfakes, with over 95% of deepfake videos created with DeepFaceLab. DeepFaceLab is an open-source deepfake system that enables users to swap the faces on images and on video.

# data[].attributes.body
Hier findet ihr verschiedene Apps mit denen Bilderanimationen erstellt werden können und die Anleitung zu dieser. Auch hierzu findet ihr in der Spalte "Tutorials" ein Video.
first-order-model-demo - Colaboratory (google.com)
First order model (aliaksandrsiarohin.github.io)

# data[].attributes.body
Deep Fake Tools - Make Your Own Deep Fake Videos - RealSocialSEO
unter diesem Link findet ihr eine Auswahl vieler verschiedener Deepfake-Tools. Wenn ihr Lust habt, könnt ihr das ein oder andere mal ausprobieren.

# data[].attributes.attachment_link.readable_text
We are hearing a lot about "Deep Fake" in recent months but What is Deep Fake?

It is a technique for human image synthesis based on artificial intelligence. It is used to combine and superimpose existing images and videos onto source images or videos using a machine learning AI technique known as generative adversarial network.

You surely have seen the video of Jim Carrey mimicking Jack Nicholson in a scene from "The Shining"?

If you haven't seen the video you can view it here

Although Jim Carrey is a remarkable actor, this is not him acting or mimicking, it is his face superimposed onto Jack Nicholson using the Deep Fake AI technique

You can make these types of videos yourself. Vuild recently published a list which features a range of types & quality, from face swap technology to voice synthesizers, you can try out for yourself ( if you have the relevant computer hardware in some cases). See the list below

# data[].attributes.attachment_link.title
Deep Fake Tools - Make Your Own Deep Fake Videos - RealSocialSEO

# data[].attributes.attachment_link.description
We are hearing a lot about "Deep Fake" in recent months but What is Deep Fake? It is a technique for human image synthesis based on artificial intelligence. It is used to combine and superimpose existing images and videos onto source images or videos using a machine learning AI technique known as generative adversarial network.

# data[].attributes.body
Alternative Fakes: Deepfakes im Filmgeschäft | cinema.de
Dass Deepfakes auch in Film und Fernsehen an Einfluss gewinnt, ist wahrscheinlich jedem klar. Inwieweit Deepfakes eingesetzt werden können und bereits angewendet werden könnt ihr in diesem Artikel lesen.

# data[].attributes.attachment_link.title
Alternative Fakes: Deepfakes im Filmgeschäft

# data[].attributes.attachment_link.description
„Face/Off" im echten Leben. Die Technik der Deepfakes hat das Potenzial, die Filmindustrie zu revolutionieren - und birgt Gefahren

# data[].attributes.body
KI im Kino: Wie Deepfakes Hollywood revolutionieren könnten - Spektrum der Wissenschaft
Auch in diesem Artikel wird der Einfluss von KI und Deepfakes im Filmgeschäft thematisiert. Einige Aspekte der Artikel greifen wir aber auch noch einmal in unserer Präsentation auf.

# data[].attributes.attachment_link.readable_text
KI im Kino : Wie Deepfakes Hollywood revolutionieren könnten

KI-Bastler manipulieren Hollywood-Filme bereits jetzt nach Gusto. Die großen Studios tun sich noch schwer. Wenn die Technik einmal reif ist, wird sie das Kino für immer verändern.

Als Hollywood in "Rogue One: A Star Wars Story" eine junge Carrie Fisher für einen kurzen Auftritt als Prinzessin Leia zurück auf die große Leinwand brachte, war das eine Sensation. Schließlich gilt die digitale Erzeugung menschlicher Charaktere als Heiliger Gral der visuellen Effekte. Um nur wenige Sekunden an überzeugendem Filmmaterial zu erzeugen, modellieren ganze Heerscharen von Animatoren monatelang ihren digitalen Ton - Bild für Bild und in mühevoller Kleinarbeit. Doch die Zeiten ändern sich. Heute stellen Youtuber wie Shamook ihre eigenen Kreationen online und suchen selbstbewusst den direkten Vergleich mit den teuren Hollywood-Produktionen. Für seine eigene Version von Prinzessin Leia benötigte Shamook, wie er schreibt, nichts weiter als einen PC, einige hundert Bilder von Carrie Fisher aus den alten "Star Wars"-Filmen und einen Tag Rechenzeit. Wer sich das Ergebnis ansieht, erahnt, dass Hollywood ein Paradigmenwechsel bevorsteht.

Videomanipulationen wie diese basieren auf der rasanten Entwicklung des maschinellen Lernens, einer Unterkategorie der künstlichen Intelligenz. Mittlerweile hat sich dafür die Bezeichnung "Deepfake" etabliert, ein Kunstwort, das sich aus der Tiefe der eingesetzten neuronalen Netzwerke und dem englischen Wort für Fälschung zusammensetzt. Die gängigste Spielart von Deepfakes sind "Face Swaps". Dabei tauscht ein Algorithmus das Gesicht eines Schauspielers in einem Video Bild für Bild gegen ein anderes Gesicht aus, während die Mimik des Originals weitgehend beibehalten wird. Die Technik ist inzwischen so weit verbreitet und auch bereits so einfach zu bedienen, dass das Internet von Spaßvideos regelrecht überschwemmt ist. Wer also immer schon der Meinung war, dass Sylvester Stallone vielleicht doch der bessere Terminator gewesen wäre oder wer lieber Jim Carrey an Stelle von Jack Nicholson die Axt in "The Shining" schwingen sehen möchte, dem sei etwa der Youtube-Kanal "Ctrl Shift Face" empfohlen.

Dieser Artikel ist enthalten in Spektrum Kompakt, Algorithmen im Alltag

Für Face Swaps werden in der Regel künstliche neuronale Netze in Form so genannter Autoencoder eingesetzt. Sie lernen zunächst anhand möglichst vieler Bilder, ein Gesicht auf seine wesentlichen Merkmale zu reduzieren und anschließend daraus wieder das Original zu rekonstruieren. Bei Deepfakes soll das Original allerdings durch ein anderes Gesicht mit gleichem Gesichtsausdruck ersetzt werden. Vereinfacht gesagt erfolgt die Rekonstruktion des Bilds in diesem Fall mit einem anderen Netzwerk, das auf das neue Gesicht trainiert worden ist. Welche Merkmale genau das Netz in diesem Prozess als "wesentlich" betrachtet, entscheidet es allerdings selbst, und im Detail ist das für seine menschlichen Trainer oft gar nicht nachvollziehbar. Wichtig ist nur, dass es alle Gesichter auf das gleiche Set von Merkmalen reduziert. Denn bloß so kann es anhand der gewonnenen Daten ein anderes Gesicht mit dem exakt gleichen Gesichtsausdruck rekonstruieren.

Für Hollywood birgt die Technik großes Potenzial, auch wenn die Qualität der automatisch generierten Face Swaps noch nicht ganz an die bisher eingesetzten, unter enormem Aufwand produzierten 3-D-Modelle heranreicht. Diese benötigen die Filmemacher beispielsweise dann, wenn in einer Rückblende ein Schauspieler jünger aussehen muss, als er ist, oder um in Actionszenen das Gesicht einer Stuntfrau nachträglich durch das einer Schauspielerin zu ersetzen.

James Dean kehrt zurück - aber noch ohne KI

3-D-Modelle helfen auch, um bereits verstorbene Stars wieder zurück auf die Leinwand zu holen. So hat etwa das Filmstudio Magic City Films angekündigt, eine Hauptrolle im Kriegsdrama "Finding Jack" mit James Dean zu besetzen. Da es von der bereits 1955 verstorbenen Hollywood-Legende jedoch nicht ausreichend hochwertiges Bildmaterial gibt, scheinen Deepfakes in diesem Fall ohnehin keine Option zu sein. Schließlich entspricht die Reduktion der Bilder auf ihre wesentlichen Merkmale einer Komprimierung der Originaldaten, bei der Details verloren gehen. Autoencoder sind dadurch zwangsläufig verlustbehaftete Werkzeuge. Um überzeugende Bilder generieren zu können, wäre also Ausgangsmaterial von sehr hoher Qualität nötig.

Unvergessen bleibt auch die "Wiederauferstehung" von Paul Walker, der vor Abschluss der Dreharbeiten zu "Fast & Furious 7" bei einem Autounfall verunglückte und dessen Gesicht für einige Szenen nachträglich in den Film eingefügt werden musste. "Da wurde ein riesiger Aufwand betrieben", sagt Florian Gellinger, Mitbegründer des deutschen Visual-Effects-Studios Rise FX, das bereits an zahlreichen großen Hollywood-Produktionen beteiligt war. "In diesem Fall war es aber notwendig, weil der Film nun mal schon fast fertig war."

Der Aufwand ist vor allem deshalb so hoch, weil unser Gehirn von Geburt an die Gesichter unserer Mitmenschen analysiert. Darum irritieren uns schon die kleinsten Ungereimtheiten - das Ergebnis wirkt diffus unheimlich, auch wenn wir vielleicht gar nicht in der Lage sind, den Fehler genau zu benennen.

Wer Deepfakes nutzt, gibt Kontrolle ab

Wenn große Filmstudios menschliche Gesichter digital am Computer erzeugen, gehen sie in der Regel von einem 3-D-Modell des Kopfs aus, gefolgt von viel "Handarbeit" in Form einer kompletten Simulation der Gesichtsmuskeln bis hin zur Reflexion des Lichtes an den Augäpfeln. "Fürs Kino werden künstliche Charaktere oft von Grund auf aus ›digitalem Ton‹ modelliert", sagt Gellinger. "Dabei denken sich die Animatoren Emotionen, ein kurzes Zwinkern oder das leichte Kleben der Mundwinkel einfach aus." Da sich dabei auch immer wieder Unstimmigkeiten einschleichen, kann es jetzt schon von Vorteil sein, zur groben Orientierung ein Deepfake-Video als Vorlage zu erstellen - so geschehen etwa bei "Terminator: Dark Fate", wo für eine anfängliche Rückblende jüngere Versionen von Schwarzenegger und Co benötigt wurden.

Jim Carrey ersetzt Jack Nicholson

Wenn Hollywood also bereits heute Deepfakes einsetzt, dann dienen sie lediglich als Konstruktionshilfe und sind später nicht auf der Leinwand zu sehen. Dennoch lohnt es sich dem Experten zufolge ohnehin nur in Ausnahmesituationen, menschliche Charaktere künstlich zu erzeugen. "Das ist immer mit enormem Aufwand verbunden, und man kommt auch nie ganz auf die gleiche Qualität", sagt Gellinger. Schließlich können bloß echte Schauspieler in Interaktion mit ihren Kollegen und dem Regisseur verschiedene Nuancen der Darstellung durchspielen und so in einem gemeinsamen, kreativen Prozess die Inszenierung optimieren.

Auch für Volker Helzle, den Leiter für Forschung und Entwicklung am Animationsinstitut der Filmakademie Baden-Württemberg, haben Deepfakes im Kino noch keinen Platz. "Im Film geht es darum, die kreative Kontrolle über die künstlichen Charaktere zu behalten. Und da bieten Deepfakes nur wenig Möglichkeiten." Schließlich wolle man jederzeit in der Lage sein, in die Mimik einzugreifen, um die entscheidenden Akzente zu setzen. Deshalb hat Helzle gemeinsam mit seinem Team eine eigene Methode entwickelt, um effizient und schnell einen realistischen Gesichtsausdruck zu generieren.

Dem Ansatz liegt ein altbewährtes Konzept der Psychologie aus den späten 1970er Jahren zu Grunde. Das so genannte "Facial Action Coding System" ordnet verschiedenen Gesichtsausdrücken Bewegungen bestimmter Muskelgruppen zu. So kann etwa Freude durch ein Anheben von Wangen und Mundwinkeln ausgedrückt werden, während sich bei Wut die Augenbrauen zusammenziehen. "Letztendlich steht dem Animator eine Klaviatur von Schiebereglern zur Verfügung, um 120 verschiedene Parameter einzustellen und den gewünschten Gesichtsausdruck zu erzeugen", erklärt Helzle. So kann ein 3-D-Modell erzeugt werden, das dann in Handarbeit bis zur Perfektion verfeinert und schließlich über das gefilmte Gesicht eines echten Schauspielers gelegt wird.

Dank Disney in Hochauflösung?

Soll aber etwa nur die angespannte Mimik eines Stuntmans während einer Actionszene mit dem Gesicht des Hauptdarstellers überlagert werden, spielen kreative Kontrolle und künstlerische Gestaltungsmöglichkeiten eine untergeordnete Rolle. Dass sich auch hier Deepfakes noch nicht durchgesetzt haben, liegt vor allem an der mangelnden Auflösung von Face Swaps. Hier könnte nun eine neue Technik für Abhilfe sorgen, die Disney Research Studios in Zusammenarbeit mit der ETH Zürich entwickelt und diesen Sommer am "Eurographics Symposium on Rendering" in London der Öffentlichkeit präsentiert hat.

Ein modellierter Albert Einstein

Den Forschern ist es gelungen, erstmals automatische Face Swaps mit Megapixelauflösung zu generieren. Darüber hinaus konnten sie störende Artefakte wie Zitter- und Wackeleffekte minimieren, die die Ergebnisse anderer Algorithmen oft noch als Fälschungen enttarnen. Und auch wenn die Qualität weiterhin nicht ganz den extrem hohen Ansprüchen einer Hollywood-Produktion entsprechen mag, zeigt die Arbeit doch, wie schnell sich die Technik entwickelt. Und vor allem das Engagement von Disney lässt vermuten, dass es nur eine Frage der Zeit ist, bis wir Deepfakes im Kino zu sehen bekommen werden. Womöglich werden mit Hilfe solcher Technologien sogar irgendwann Filme gleichzeitig in unterschiedlichen Besetzungen für unterschiedliche Zielgruppen produziert.

Und auch synchronisierte Filme, in denen die Lippenbewegungen der Schauspieler nicht so recht zu den gesprochenen Worten passen, könnten schon bald der Vergangenheit angehören. Mit der Software Face2Face etwa können Mimik und Lippenbewegungen einer Person in Echtzeit auf das Gesicht einer anderen Person übertragen werden, ganz so, als würde ein Puppenspieler eine Marionette steuern. Dazu reicht es, den "Puppenspieler" während des Sprechens mit einer handelsüblichen Webcam zu filmen. Die "Marionette" dagegen muss, bevor es losgehen kann, anhand eines kurzen Videos analysiert werden. Nur so kann die Software ein 3-D-Modell des Gesichts erstellen und die verschiedenen Mundbewegungen lernen, die sie dann während des Puppenspiels zeigen soll. "Das lässt sich alles mit einem herkömmlichen Gamer-PC inklusive vernünftiger Grafikkarte bewerkstelligen", erklärt Justus Thies, der im Rahmen seiner Doktorarbeit den Grundstein für die Software gelegt hat und heute seine Arbeit in der Visual Computing Group der Technischen Universität München weiter verfolgt.

Täuschend echte Stimmen - aus dem Computer

Die wichtigste Anwendung seiner Methode sieht der Forscher im "Virtual Dubbing", bei dem die Lippenbewegungen eines Schauspielers an die Audiospur eines Synchronsprechers angepasst werden. Das Ergebnis lässt sich etwa in einem Videoclip von David Beckham bewundern, in dem er in neun verschiedenen Sprachen zum Kampf gegen Malaria aufruft. Wer den Fußballpromi kennt, weiß natürlich, dass das nicht ohne technische Unterstützung entstanden sein kann - der Videoclip wurde mit einer Software kreiert, die auf Face2Face aufbaut. Auf ähnliche Art könnten in Zukunft die Lippenbewegungen von Filmschauspielern an die Tonspur der Synchronfassung angepasst werden.

Mit der Methode "Neural Voice Puppetry", die Thies und seine Kollegen Anfang 2020 vorgestellt haben, funktioniert das in einfachen Fällen sogar bereits auf Knopfdruck: Die Software analysiert eine beliebige Sprachaufnahme und passt die Lippenbewegungen einer Zielperson automatisch an die Worte an. Um den Qualitätsansprüchen und der hohen Auflösung der großen Leinwand gerecht zu werden, müssten die Algorithmen allerdings noch weiter verfeinert werden.

Ein computergenerierter Schauspieler braucht auch eine Stimme. In den meisten aktuellen Deepfakes ist einfach die des Originals zu hören, oder sie stammt von einem menschlichen Stimmenimitator. Doch auch hier ist künstliche Intelligenz im Begriff, die Oberhand zu gewinnen. In den 1980er Jahren wurde noch versucht, die Sprachproduktion mit rechnerischen Modellen nachzubilden, das Ergebnis hatte den typisch blechernen Computerstimmen-Klang. Später ging man dazu über, etwa für Durchsagen auf Bahnhöfen Sprachsamples in ihre Einzelteile zu zerschnippeln und Laut für Laut oder Silbe für Silbe zu neuen Worten und Sätzen zusammenzufügen. "Heute benutzen wir zur künstlichen Erzeugung von Sprache ähnliche Machine-Learning-Ansätze wie in der Bildverarbeitung", sagt Björn Schuller, Professor an der Universität Augsburg und Gründer des Start-ups Audeering, das sich mit der automatischen Analyse von Sprache beschäftigt. Während vor einigen Jahren die großen Innovationen noch im Audiobereich stattfanden, weil die Rechenleistung für die Bildbearbeitung gefehlt hat, sei es heute umgekehrt: Nun würden die Deepfake-Technologien aus der Videomanipulation für die Stimmerzeugung übernommen.

Nach den Prinzipien von Imitation und Mustererkennung trainieren die Algorithmen anhand unzähliger Sprachproben, Laute zu bilden. So können sie Stimmen imitieren oder völlig neue Stimmen erzeugen. Die KI lernt nicht bloß, Texte mit der Stimme eines bestimmten Menschen aufzusagen. Lässt man sie nur genügend Aufnahmen von fröhlichen Menschen hören, wird sie auch erkennen, was Fröhlichkeit ausmacht, und kann diese dann auf die eigene Stimme übertragen. Das Gleiche gilt für Eigenschaften wie Alter, Geschlecht oder Körpergröße eines Sprechers. "Die Ergebnisse sind mittlerweile so gut, dass sie von Menschen kaum noch als Fälschungen erkannt werden können", sagt Schuller. Der Weg zum kompletten Deepfake-Schauspieler scheint also bereits geebnet zu sein.

Das könnte Sie auch interessieren:

Diesen Artikel empfehlen:

Thomas Brandstetter ist promovierter Physiker, der im österreichischen Puchenau lebt. Er widmet sich als Wissenschaftsjournalist vor allem der künstlichen Intelligenz, der Robotik und den Beziehungen zwischen Mensch und Maschine.

Verblüffend naturalistisch : KI synchronisiert Lippen und Audio in Echtzeit

Eine neue KI verändert die Mundbewegungen eines Sprechers so, dass sie zu jedem beliebigen eingesprochenen Text passen. Das sieht erschreckend realistisch aus.

Künstliche Intelligenz : Multitalent für Sprache

Die bislang umfassendste Sprach-KI heißt GPT-3 und wurde mit rund einer Billion Wörter trainiert. Was kann sie - und was nicht?

Deep Fakes : Mathematische Analyse soll alle Deep Fakes enttarnen

Haben Forscher die Schwachstelle von Deep Fakes gefunden? Bei einer simplen mathematischen Analyse der Pixel verraten sich Bilder, die die KI erzeugt hat, durch auffällige Muster.

Der digitale Mensch

Wie wollen wir leben im Zeitalter der Digitalisierung?

Informationstechnologie

Ohne Informationstechnologie funktioniert kaum etwas in der modernen Welt. Das sind die neuesten Entwicklungen.

Roboter

Autonome Maschinen werden immer wichtiger für uns. Das sind die neuesten Entwicklungen.

# data[].attributes.attachment_link.title
KI im Kino: Wie Deepfakes Hollywood revolutionieren könnten

# data[].attributes.attachment_link.description
KI-Bastler manipulieren Hollywood-Filme bereits jetzt nach Gusto. Die großen Studios tun sich noch schwer. Wenn die Technik einmal reif ist, wird sie das Kino für immer verändern. Als Hollywood in "Rogue One: A Star Wars Story" eine junge Carrie Fisher für einen kurzen Auftritt als Prinzessin Leia zurück auf die große Leinwand brachte, war das eine Sensation.

# data[].attributes.body
Real-Time DeepFake Streaming With DeepFaceLive - Unite.AI
Die KI-Technologien sind mittlerweile so weit entwickelt, dass bereits erste Live-Deepfakes erprobt wurden. Wie das funktioniert könnt ihr hier lesen.

# data[].attributes.attachment_link.readable_text
The world's most-used deepfake software, and the one most strongly associated with deepfake porn, is getting a new implementation - the ability to superimpose deepfakes of a celebrity likeness into live webcam footage.

The open source repository DeepFaceLive is a Windows 10 application built on the foundations of DeepFaceLab, which quickly became the leading resource for porn-based face-swapping after the creator of the original deepfake software abandoned the project shortly after the advent of deepfaking created worldwide controversy in 2018. Both projects list the forum section of deepfake porn site mrdeepfakes as an official support resource.

Yesterday the lead on both projects, Russian developer Ivan Petrov, announced a new version of DeepFaceLive on the project's Discord group, noting that DeepFaceLive now incorporates a trained model of actress Margot Robbie, a frequent subject of pornographic videos at mrdeepfakes.

Four sample video clips have been uploaded to demonstrate the ability of DeepFaceLive to attach the Robbie identity to any speaker in a webcam feed.

The Robbie transformation videos were originally shared on Twitch, but subsequently deleted.

An additional default model, of British comedian and actor Rowan Atkinson, is promised to be made available for DeepFaceLive soon. Originally the DeepFaceLive repository featured a CELEB_MODEL category, where it was possible to download other celebrities, including Tom Cruise, as Open Neural Network Exchange (.onnx) files, though these directories have since been deleted.

DeepFaceLive runs exclusively as a Windows 10 application, and is reported by one user to work well with NVIDIA's live streaming Broadcast application.

Obtaining Identities

Users do not need to go through the laborious process of gathering face material for a dataset, followed by the 3-10 days necessary to obtain a very good match, since the FAQ for DeepFaceLive states that it can use off the shelf 'public face models' that have already been compiled by other creators. In effect, the largest source of such models is the Forum-Trained Models (archive link) thread at the mrdeepfakes porn site, which can be seen in use by one Russian end-user in a recent YouTube video.

Though the best results will be obtained by training the end-user's face against the target celebrity, the quality of the simulation seems to be in direct proportion to how closely the end user resembles the target. When the user is relatively well-fitted to the celebrity, a convincing result can be obtained.

As is evident in the last three Margot Robbie swaps in the images above, the software can't perform miracles where the end-user's face has radically different general characteristics. However, DeepFaceLab can also perform entire head swaps, a process which completely overwrites the source head, albeit with limitations in regard to hairstyles. Comments on the Discord server confirm that these can also be implemented in DeepFaceLive.

DeepFaceLive currently supports only NVIDIA GPUs, with the GTX 750 the lowest hardware that can obtain a reasonable result with the application. On a graphics card with 4GB of VRAM, it also requires 32GB of swap disk space.

Users report that DeepFaceLive is extremely demanding in terms of hardware resources, but Petrov has responded to this by asserting that DeepFaceLive is intended for well-specced PCs in an indoor environment.

The DeepFaceLab GitHub has been forked over 6,000 times, while the new DeepFaceLive currently has 85 forks.

Possible Uses

Commenters in a thread (Russian language) at Russian social site VK.com speculate on the possible uses of DeepFaceLive, and seem to have discerned all the likely applications for the software: as an 'anonymization' or recreational filter in Zoom and similar applications; as a means for committing fraud or deceiving the person watching the live stream; and - perhaps most likely, in light of the software's provenance and user-base - as a means of implementing celebrity-focused webcam-based sex work (see image at end of article).

The possibility of 'deepfake cam girls' emerged in the media a couple of years ago. In 2020 the Avatarify app announced deepfake celebrity webcam functionality, but at a quality significantly lower than the standard set by DeepFaceLab, which is now the repository of choice for recent headline-grabbing Tom Cruise deepfaker Chris Ume, as well as high-level film and TV production companies around the world.

DeepFaceLab, the seed application for DeepFaceLive and the reported (Russian language) framework for 95% of all the deepfakes on YouTube, is also the software used by Shamook, the deepfaker whose extraordinary work on improving Luke Skywalker's guest appearance in The Mandalorian recently inspired Lucasfilm to hire him as a VFX consultant.

Adapted To Deepfake Limitations

The methodology of deepfake software such as DeepFaceLab and FaceSwap is well-served by a typical webcam environment, and removes many of the obstacles to authenticity that can still plague off-line deepfakes.

For instance, deepfakes perform less convincingly when the user turns to profile (or looks up), moves rapidly, or is subject to scene changes or sudden changes of lighting.

Therefore the 'static' nature of a typical Zoom call or webcam plays to the strengths of the software. Many of the most revered examples of deepfake trickery over the past three years have featured speakers facing the camera directly and moving very little in a constrained environment, such as the imposition of Steve Buscemi onto Jennifer Lawrence at an Oscar speech, and the transformation of various 'to camera' political broadcasts.
Amended 8:52pm 7th August - Corrected surname.
Amended 8:30pm 8th August - added images from Discord.

# data[].attributes.attachment_link.title
Real-Time DeepFake Streaming With DeepFaceLive - Unite.AI

# data[].attributes.attachment_link.description
The world's most-used deepfake software, and the one most strongly associated with deepfake porn, is getting a new implementation - the ability to superimpose deepfakes of a celebrity likeness into live webcam footage. The open source repository DeepFaceLive is a Windows 10 application built on the foundations of DeepFaceLab, which quickly became the leading resource [...]

# data[].attributes.body
Erkennung von Deepfakes: STANDARD-User nicht viel besser als der Zufall - Zukunft - derStandard.de › Wissen und Gesellschaft
Falls der obere Link nicht funktioniert, versucht bitte diesen mal aus :)

# data[].attributes.attachment_link.readable_text
Foto: Kurt Fleisch

Sie haben keine Ahnung, wie vielen Deepfakes Sie in den vergangenen Wochen und Monaten begegnet sind - und genau das ist das Problem. Sie begegnen Ihnen im Internet, auf Ihrem Smartphone, in den sozialen Medien. Wahrgenommen haben Sie das nur in den seltensten Fällen. Deepfakes nennt man manipulierte Videos, mit deren Hilfe man Gesichter tauschen kann, Personen Worte in den Mund legen kann, die sie so nie gesagt haben, ihre Körper Handlungen vornehmen lassen kann, die sie so nie vollzogen haben. Die Videofälschungen sind so täuschend echt, dass es oft nicht gelingt, sie als solche zu erkennen.

# data[].attributes.attachment_link.title
Erkennung von Deepfakes: STANDARD-User nicht viel besser als der Zufall

# data[].attributes.attachment_link.description
Sie haben keine Ahnung, wie vielen Deepfakes Sie in den vergangenen Wochen und Monaten begegnet sind - und genau das ist das Problem. Sie begegnen Ihnen im Internet, auf Ihrem Smartphone, in den sozialen Medien. Wahrgenommen haben Sie das nur in den seltensten Fällen.