Ein Kratzer am Auto, eine Aussage in einem Interview oder das Gesicht in einem Video: Oft genügt heute eine kleine Veränderung, damit aus echtem Material eine glaubwürdige Fälschung wird. Für Menschen sind hochwertige Deepfakes kaum noch zuverlässig zu erkennen, während Behörden, Versicherungen und Redaktionen immer häufiger prüfen müssen, welchen Bildern sie noch trauen können. Wie lässt sich Echtheit feststellen, wenn das bloße Hinsehen nicht mehr reicht?

IM+io: Wer steckt hinter Detesia, woran arbeitet ihr und wie ist die Idee dazu entstanden?

TW: Bei Detesia entwickeln wir eine Plattform, auf der Bilder und Videos hochgeladen und daraufhin überprüft werden können, ob es sich um Inhalte handelt, die mit Künstlicher Intelligenz generiert wurden. Dabei gibt es verschiedene Feinabstufungen. Wir können beispielsweise erkennen, ob nur ein Teil eines Bildes manipuliert wurde, wo sich diese Manipulation befindet oder ob ein Gesicht ausgetauscht wurde. Zusätzlich prüfen wir Wasserzeichen und stellen forensische Werkzeuge bereit. So entsteht ein ganzheitlicher Überblick über visuelle Medieninhalte. Angefangen haben wir ursprünglich mit einem anderen Thema aus der Cybersicherheit: Phishing-Simulationen, mit denen wir die Awareness von Mitarbeitenden für Social Engineering testen wollten.

IM+io: Wie führte der Weg von Phishing-Simulationen zur Erkennung von Deepfakes?

TW: Wir wollten unsere Phishing-Simulationen innovativer gestalten und haben deshalb überlegt, Deepfake-Simulationen in Videokonferenzen einzusetzen. Ein konkretes Szenario dabei ist zum Beispiel CEO Fraud: Eine angreifende Person gibt sich als Geschäftsführung oder andere vertraute Person aus und versucht, Mitarbeitende dazu zu bringen, sensible Informationen weiterzugeben oder bestimmte Handlungen auszuführen. Genau solche Situationen wollten wir simulieren und prüfen, ob sich auf diese Weise Betriebsgeheimnisse oder andere sensible Informationen über ein Unternehmen herausfinden lassen. Uns ist dann schnell aufgefallen, dass Awareness zwar wichtig ist, bei sehr guten Deepfakes aber nicht ausreicht. Schon vor dreieinhalb Jahren konnten Menschen die besten Fälschungen kaum noch erkennen. Deshalb haben wir nach einer technischen Lösung gesucht, die wir für unsere Schulungen einkaufen könnten. Dabei stellten wir fest, dass es in Deutschland praktisch keine entsprechenden Anbietenden gab und der internationale Markt ebenfalls sehr dünn besetzt war. Diese Marktlücke wollten wir schließen.

IM+io: Warum gab es damals trotz des bereits absehbaren Problems so wenige Anbietende?

TW: Wir haben uns darüber ebenfalls sehr gewundert und den Markt ausführlich analysiert. Ein entscheidendes Problem war aus unserer Sicht, dass es vor etwa vier Jahren kaum Abnehmer:innen für dieses Thema gab. Interesse bestand höchstens in einzelnen Bereichen, beispielsweise bei Banken und anderen Unternehmen, die im Know-your-Customer-Bereich frühzeitig Risiken erkannt hatten. Wir haben einige Anbietende gesehen, die früh gestartet, dann aber gescheitert sind, weil der Markt noch nicht bereit war, für eine solche Lösung zu bezahlen. Inzwischen ist der Markt deutlich weiter. Die großen Anbietenden haben neben Text auch immer stärker Bilder und Videos generiert, wodurch das Thema in der breiten Öffentlichkeit sehr viel präsenter geworden ist.

IM+io: Gab es einen bestimmten Moment, an dem sich die Wahrnehmung von Deepfakes verändert hat?

TW: Einen einzelnen Kipppunkt würde ich nicht benennen. Merklich verändert hat sich die Situation aber, als die großen Anbietenden von Sprachmodellen und generativer Künstlicher Intelligenz in der breiten Gesellschaft angekommen sind. Mit leicht zugänglichen Werkzeugen konnten plötzlich sehr viele Menschen Bilder generieren, ohne dafür besonderes technisches Wissen zu benötigen. Diese Inhalte wurden anschließend in großer Menge auf Social Media geteilt. Dadurch ist die öffentliche Wahrnehmung des Themas deutlich gestiegen. Immer mehr Menschen haben gesehen, was technisch bereits möglich ist und wie realistisch solche Inhalte wirken können. Das hat auch dazu geführt, dass Unternehmen, Behörden und andere Organisationen begonnen haben, sich intensiver mit der Erkennung und den daraus entstehenden Risiken zu beschäftigen.

IM+io: Wie ist das Team technisch und wissenschaftlich an die Entwicklung einer Lösung herangegangen?

TW: Wir kommen aus der Forschung und sind ein Spin-off des CISPA Helmholtz-Zentrums in Saarbrücken. Entsprechend haben wir zunächst versucht zu verstehen, wie das Forschungsfeld aufgebaut ist und welche technischen Ansätze zur Erkennung von Deepfakes existieren. Danach ging es um die Frage, welche dieser Ansätze unter realen Bedingungen funktionieren können. Gemeinsam mit unserem Mentor Professor Doktor Mario Fritz sind wir sehr tief in die Forschung eingestiegen, haben viele Ansätze ausprobiert, eigene Methoden entwickelt und bestehende Verfahren weiterentwickelt. Parallel dazu haben wir mit Partner:innen Erfahrungen aus der Praxis gesammelt. So konnten wir nachvollziehen, welche Daten dort tatsächlich vorkommen und wie stark sie sich von akademischen Datensätzen unterscheiden. Die Lösung ist dadurch schrittweise aus der Forschung in den Markt hineingewachsen.

IM+io: Was sind die wichtigsten Unterschiede zwischen akademischer Forschung und praktischer Anwendung?

TW: Im akademischen Bereich werden häufig klar abgegrenzte Szenarien untersucht. Man betrachtet beispielsweise ausschließlich Face-Swap-Deepfakes, bei denen ein Gesicht ausgetauscht wurde, und entwickelt dafür einen spezialisierten Detektor. In der Praxis weiß man aber oft nicht, welche Inhalte hochgeladen werden. Bei Strafverfolgungsbehörden können das Menschen, Tiere, Gegenstände oder ganze Szenerien sein.

Ein Ansatz, der nur in einem Szenario funktioniert, versagt wahrscheinlich in vielen anderen. Deshalb braucht es generalistische Verfahren. Hinzu kommt, dass akademische Daten meist sehr sauber sind: hohe Auflösung, ein Gesicht in der Bildmitte und stabile Bedingungen. Reale Bilder und Videos sind dagegen komprimiert, verwackelt, unscharf, zugeschnitten oder teilweise verdeckt. Diese sogenannten Real-World Distortions können genau die Artefakte zerstören, die für eine Erkennung benötigt werden.

IM+io: Warum konzentriert sich Detesia derzeit auf Bilder und Videos und nicht auf Audio-Deepfakes?

TW: Audio ist für uns ein Zukunftsthema, wird aktuell aber noch nicht bearbeitet. Auch wenn Audio-, Bild- und Video-Deepfakes unter dasselbe Oberthema fallen, handelt es sich technisch um unterschiedliche Bereiche. Bei Bildern und Videos betrachten wir visuelle Informationen, also die Pixel und bestimmte Muster innerhalb der Pixelstrukturen. Bei Audiodaten arbeitet man dagegen unter anderem mit Spektrogrammen.

Das erfordert andere technische Verfahren, andere Modelle und eine eigene Expertise. Wir haben uns international eine starke Position bei der Erkennung manipulierter Bilder und Videos aufgebaut. Diesen Schwerpunkt wollen wir weiter vertiefen und unseren Vorsprung in diesem Bereich nicht verlieren, anstatt unsere Ressourcen zu früh auf ein weiteres, technisch eigenständiges Feld zu verteilen.

IM+io: In welchen konkreten Bereichen wird die Plattform bereits eingesetzt?

TW: Ein wichtiger Bereich sind Strafverfolgungsbehörden. Dort stellt sich zunehmend die Frage, ob digitale Beweismittel echt oder mit Künstlicher Intelligenz erzeugt beziehungsweise verändert wurden. Solche Inhalte können von sichergestellten Datenträgern oder aus Social Media stammen. Die Behörden müssen ihre Echtheit bewerten können, um zu entscheiden, wie ein Fall weiterbearbeitet wird und welchen Indizien nachgegangen werden sollte.

Ein weiteres Beispiel sind Versicherungen. Dort kann ein real existierendes Fahrzeug fotografiert und anschließend nur der angebliche Schaden, beispielsweise ein Kratzer, mit Künstlicher Intelligenz in das Bild eingefügt werden. Das Fahrzeug ist echt, der Schaden jedoch nicht. Für Menschen ist eine solche Teilmanipulation je nach Qualität nahezu unmöglich zu erkennen.

IM+io: Ist die Frage nach der Echtheit inzwischen bereits ein fester Bestandteil solcher Prüfprozesse?

TW: Das hängt stark von der Herkunft der Daten ab. Bei Strafverfolgungsbehörden gibt es vertrauenswürdige Quellen, beispielsweise staatlich betriebene Überwachungskameras. In solchen Fällen ist zunächst davon auszugehen, dass die Aufnahmen nicht manipuliert wurden. Sobald jedoch Daten aus nicht vertrauenswürdigen Quellen eingehen, stellt sich praktisch immer die Frage, ob sie noch echt sind. Bei Versicherungen ist es ähnlich. Reicht eine versicherte Person selbst Bilder ein, handelt es sich grundsätzlich um ein nicht vertrauenswürdiges Szenario. Unsere Lösung kann deshalb direkt in das Schadenmanagementsystem integriert werden. Dort sieht die Versicherung, ob eingereichte Bilder echt oder manipuliert erscheinen. Anschließend kann sie entscheiden, ob eine Summe ausgezahlt, ein Gutachten vor Ort angefordert oder weiteres Bildmaterial aus anderen Perspektiven verlangt wird.

IM+io: Können Menschen hochwertige Deepfakes überhaupt noch ohne technische Hilfsmittel erkennen?

TW: Wenn ein Deepfake professionell angefertigt wurde, ist das in vielen Fällen nicht mehr möglich. Das macht auch das Thema Erklärbarkeit schwierig. Wenn ein Bild so gut generiert wurde, dass es für Menschen keine sichtbaren Anzeichen mehr gibt, hilft eine klassische Erklärung zunächst nur eingeschränkt weiter. Dann braucht es zusätzlichen Kontext, gefundene Wasserzeichen oder manuelle forensische Werkzeuge, mit denen gezielt nach technischen Indikatoren gesucht wird. Früher konnte man teilweise noch an offensichtlichen Verzerrungen, unnatürlichen Übergängen oder Fehlern in Gesichtern erkennen, dass etwas nicht stimmt. Diese Hinweise werden jedoch immer seltener. Deshalb kann man sich bei hochwertigen Fälschungen nicht mehr darauf verlassen, dass ein Mensch die Manipulation allein durch genaues Hinsehen bemerkt.

IM+io: Wie funktioniert die Erklärbarkeit der Modelle und welche Rolle spielen dabei Heatmaps?

TW: Die Heatmaps werden direkt aus unseren Modellen ausgelesen. Technisch unterscheidet man zwischen Post-hoc-Erklärbarkeit und inhärenter Erklärbarkeit. Bei der Post-hoc-Erklärbarkeit versucht man erst nach einer Entscheidung des Modells nachzuvollziehen, warum es zu diesem Ergebnis gekommen ist. Das funktioniert nach unserem Kenntnisstand nur eingeschränkt und ist häufig ungenau. Wir setzen deshalb auf inhärente Erklärbarkeit. Dabei bringen wir dem Modell schon während des Trainings bei, wie es seine Entscheidungen erklären soll. Während der Analyse können dann auf Grundlage der Modellparameter Heatmaps erzeugt werden. Diese zeigen beispielsweise auffällige Kanten eines ausgetauschten Gesichts, ungewöhnlich starke Symmetrien in Augenpartien oder Auffälligkeiten an Lippen und anderen Gesichtsbereichen. So lässt sich nachvollziehen, welche Bildbereiche für die Bewertung relevant waren.

IM+io: Welche Ergebnisse erhalten Nutzer:innen nach der Analyse eines Bildes oder Videos?

TW: In der Plattform gibt es zunächst einen Gesamtüberblick. Dazu gehören die Analyse durch Künstliche Intelligenz, die Prüfung auf Wasserzeichen und die Metadatenanalyse. So entsteht ein erster Eindruck davon, ob Auffälligkeiten gefunden wurden. Anschließend können die einzelnen Kategorien geöffnet und genauer betrachtet werden. Bei gefundenen Wasserzeichen lässt sich beispielsweise prüfen, welcher Generator dahintersteht. In der Analyse durch Künstliche Intelligenz wird angezeigt, an welchen Stellen ein Bild möglicherweise manipuliert wurde oder wo ein Gesicht Auffälligkeiten aufweist. Zusätzlich gibt das Modell eine Wahrscheinlichkeit dafür aus, ob es sich um eine Fälschung handelt. Bei Videos gibt es außerdem eine graphische Darstellung des zeitlichen Verlaufs. So können Nutzer:innen gezielt zu den Stellen springen, an denen mögliche Manipulationen erkannt wurden.

IM+io: Sind vollständig erzeugte Inhalte oder nur teilweise manipulierte Aufnahmen schwieriger zu erkennen?

TW: Das hängt stark vom jeweiligen Generationsmodell ab. Es gibt sehr gute Modelle für vollständig synthetische Bilder und Videos, bei denen Menschen zunächst kaum erkennen können, dass es sich um Fälschungen handelt. Gleichzeitig können auch Teilmanipulationen besonders schwierig sein. Ein problematisches Beispiel wäre ein einstündiges Interview mit einer politischen Person, bei dem nur einzelne Kernaussagen verändert wurden. Fast das gesamte Video wäre echt, nur wenige Sekunden an verschiedenen Stellen wären manipuliert. Menschen hinterfragen aber nicht jede einzelne Sekunde kritisch, wenn der übrige Inhalt glaubwürdig wirkt. Dadurch können die gefälschten Bereiche vom Gehirn gewissermaßen übergangen werden. Unsere graphische Videoanalyse zeigt deshalb an, in welchen zeitlichen Abschnitten Auffälligkeiten bestehen, damit genau diese Sequenzen gezielt überprüft werden können.

IM+io: Der Journalismus dürfte von der zunehmenden Verbreitung von Deepfakes besonders betroffen sein. Welche Bedeutung hat die Erkennung manipulierter Inhalte in diesem Bereich?

TW: Der Journalismus ist ein wichtiger Anwendungsbereich. Wir arbeiten beispielsweise mit der Deutschen Presse-Agentur zusammen und haben außerdem eine Partnerschaft mit Bellingcat, einem international bekannten Fact-Checking-Team. Diese Teams nutzen unsere Plattform regelmäßig für ihre Arbeit. Darüber hinaus gibt es weitere journalistische Teams, die im Rahmen von Recherchen und Faktenchecks einzelne Bilder oder Videos überprüfen. Dabei geht es unter anderem um die Frage, ob sich eine Geschichte auf bestimmtes Bildmaterial stützen lässt oder ob in einer Veröffentlichung ausdrücklich darauf hingewiesen werden muss, dass angebliche Beweisbilder zu einem Ereignis gefälscht sind. Gerade weil sich manipulierte Inhalte sehr schnell verbreiten, müssen Journalist:innen solche Prüfungen möglichst früh in ihre Recherche integrieren.

IM+io: Wird die Erkennung dauerhaft ein Katz-und-Maus-Spiel bleiben?

TW: In der Cybersicherheit hängt die verteidigende Seite fast immer etwas hinter den Angreifenden. Neue Angriffsmethoden sorgen regelmäßig für Überraschungen. Das lässt sich mit Antivirensystemen vergleichen: Auch dort muss die Software ständig aktualisiert werden, weil sich Schadprogramme weiterentwickeln. In unserem Feld ist es ähnlich. Wir werden wahrscheinlich nie ein endgültig fertiges Produkt haben, sondern müssen immer wieder nachziehen. Eine gewisse Veränderung könnten Wasserzeichen bringen. Der EU AI Act sieht Transparenzpflichten vor, nach denen bestimmte mit Künstlicher Intelligenz erzeugte Inhalte gekennzeichnet werden müssen. Wenn solche Wasserzeichen flächendeckend eingesetzt und kryptografisch geschützt würden, könnte Software sie unmittelbar erkennen. Trotzdem bleibt das Problem, dass Bilder im menschlichen Gehirn bereits wirken können, bevor die Information über ihre Fälschung bewusst verarbeitet wird.

IM+io: Wären flächendeckende Wasserzeichen die ideale Lösung gegen manipulierte Inhalte?

TW: In einer perfekten Welt vielleicht, in der Realität ist das jedoch sehr schwierig. Wasserzeichen müssen nicht nur erzeugt, sondern auch überprüft werden. Diese Überprüfung erfolgt teilweise wiederum durch Modelle der Künstlichen Intelligenz. Das kann hohe Kosten verursachen und lässt sich nur schwer skalieren. Außerdem zeigt die Erfahrung aus der Cybersicherheit, dass vorhandene Lösungen nicht automatisch überall umgesetzt werden. Für viele bekannte Schwachstellen bei traditionellen IT Systemen existieren Patches, trotzdem bleiben weltweit verwundbare Server und Geräte online. Bei Wasserzeichen wäre vermutlich eine ähnliche Situation zu erwarten. Hinzu kommt, dass Kriminelle immer versuchen werden, solche Mechanismen zu entfernen, zu umgehen oder zu manipulieren.

Auch bei der Deepfake Erkennung wird es keine hundertprozentig sichere Lösung geben. Entscheidend ist deshalb, es Angreifenden in möglichst vielen Bereichen so schwer wie möglich zu machen und verschiedene Schutzmaßnahmen miteinander zu kombinieren. Wasserzeichen können dabei ein wichtiger Bestandteil sein, werden das Problem aber voraussichtlich nicht allein lösen.

IM+io: Wirkt diese Entwicklung insgesamt eher beunruhigend, oder gibt es trotzdem Gründe, optimistisch zu bleiben?

TW: Aktuell handelt es sich in vielen Bereichen eher um Eskalationsmanagement, weil die Entwicklung so schnell verläuft und die verteidigende Seite nur schwer Schritt halten kann. Trotzdem sehe ich die Lage nicht ausschließlich negativ. Wir befinden uns aus meiner Sicht auf einem grundsätzlich guten Weg. Welche Rolle Regulatorik dabei genau spielen wird, lässt sich noch nicht abschließend sagen, vermutlich wird sie aber ein Teil der Lösung sein.

Gleichzeitig sehen wir auch im Wettbewerbsumfeld sehr vielversprechende Anbietende, die einen wichtigen Beitrag dazu leisten können, dass sich das Gesamtbild positiv entwickelt. Es wird auf jeden Fall nicht langweilig, und die Herausforderungen werden uns noch lange begleiten. Dennoch bin ich eher zuversichtlich, dass technische Lösungen, Prozesse und ein größeres Bewusstsein gemeinsam Wirkung entfalten können.

IM+io: Kann die Plattform auch bei vollständig fiktiven Content Creator:innen eingesetzt werden?

TW: Ein Einsatz im Social-Media- und Content-Creator-Bereich ist grundsätzlich möglich, unabhängig von der jeweiligen Plattform. Unsere Lösung ist agnostisch aufgebaut. Das bedeutet, dass es für die Analyse keine entscheidende Rolle spielt, was auf einem Bild oder in einem Video zu sehen ist. Entsprechend können auch Inhalte von vollständig mit Künstlicher Intelligenz erzeugten Persönlichkeiten überprüft werden. Das betrifft beispielsweise fiktive Beauty-, Lifestyle- oder andere Content Creator:innen, die wie reale Menschen erscheinen, tatsächlich aber nicht existieren. Gerade für Laien ist diese Unterscheidung inzwischen sehr schwierig. Technisch fällt ein solcher Anwendungsfall jedoch in den Bereich, den unsere Plattform abdeckt, weil die Analyse nicht auf eine bestimmte Personengruppe, Plattform oder Art von Darstellung beschränkt ist.

IM+io: Wie können sich Unternehmen konkret auf Deepfake-Risiken vorbereiten?

TW: Der erste und vergleichsweise leicht umsetzbare Schritt ist ein eher unbeliebtes Thema: klare Prozesse. Unternehmen sollten festlegen, welche Informationen über welchen Kommunikationskanal ausgetauscht werden dürfen und wann ein zweiter Kanal oder eine zusätzliche Prüfung notwendig ist. Das lässt sich mit einer Zwei-Faktor-Authentifizierung für Kommunikation vergleichen. Denkbar sind auch regelmäßig wechselnde Begriffe oder Sequenzen, mit denen sich Mitarbeitende authentifizieren können.

Eine andere Möglichkeit sind gesicherte interne Kommunikationskanäle, zu denen externe Personen keinen Zugang haben. Wenn ein Gespräch jedoch über eine offene Videokonferenz mit einer möglicherweise unbekannten Person stattfindet, wird zusätzlich eine technische Erkennung notwendig. Nur so lässt sich zuverlässiger beurteilen, ob das Gegenüber echt oder mit Künstlicher Intelligenz erzeugt ist.

IM+io: Welche Schutzmaßnahmen sind für Privatpersonen sinnvoll?

TW: Auch im privaten Bereich ist ein zweiter Kommunikationskanal eine sehr wirksame Maßnahme. Wenn über einen Kanal eine relevante Nachricht, Rechnung oder Aufforderung eingeht, sollte die betreffende Person zusätzlich über einen anderen Weg kontaktiert werden. Kommt beispielsweise eine ungewöhnliche E-Mail, kann man kurz über einen Messenger nachfragen oder anrufen und bestätigen lassen, dass die Nachricht tatsächlich von dieser Person stammt und so gemeint ist. Dass Angreifende gleichzeitig mehrere Kommunikationskanäle kontrollieren und überall passende Deepfake-Stimmen oder andere Manipulationen einsetzen, ist deutlich unwahrscheinlicher. Solche zusätzlichen Schritte wirken vielleicht umständlich, können aber verhindern, dass auf eine gefälschte Nachricht vorschnell reagiert wird. Ähnliche Absprachen können auch innerhalb von Familien oder anderen vertrauten Gruppen getroffen werden.