KI, die Kreative Intelligenz jetzt in der neuesten Folge SMART&nerdy! Podcastfolge #23.

Propaganda ohne Publikum: Sprachmodelle als neues Ziel der Desinformation
Little man with huge megaphone spreading words and letters in surreal propaganda collage. Concept of information chaos, media noise, distorted communication, and uncontrolled public influence.

Propaganda ohne Publikum:

Sprachmodelle als neues Ziel der Desinformation

Florian-Tobias Klaus, pressrelations GmbH

(Titelbild: © Adobe Stock | 1790085632 | master1305 )

Kurz und Bündig

Desinformation hat ein zweites Publikum bekommen: Neben Menschen geraten zunehmend Suchmaschinen, Retrieval-Systeme und Sprachmodelle ins Visier. Damit verliert klassische Reichweite als alleinige Messgröße an Aussagekraft. Entscheidend wird auch, welche Quellen und Narrative für Maschinen sichtbar werden, welche Autorität sie erhalten und ob sie in KI-Antworten einfließen. Desinformationsanalyse muss deshalb künftig menschliche Reichweite und maschinelle Sichtbarkeit gemeinsam betrachten.

Was, wenn eine Desinformationskampagne kaum jemand liest und sie trotzdem erfolgreich ist? Millionen automatisiert verbreitete Inhalte können für ein Publikum bestimmt sein, das weder klickt noch teilt: Sprachmodelle und andere maschinelle Informationssysteme. Werden fragwürdige Quellen von ihnen aufgenommen, gewichtet oder reproduziert, entsteht eine neue Form unsichtbarer Reichweite. Der Kampf um Aufmerksamkeit verlagert sich damit zunehmend auch in den Informationsraum der Maschinen.

Bereits seit 2001 untersucht pressrelations, wie sich Botschaften durch traditionelle und soziale Medien bewegen. Wer sie in Umlauf bringt, ist dabei oft weniger entscheidend als die Frage, wer sie aufgreift und weiterträgt. Wer Medien beobachtet und analysiert, sieht eine Veränderung, die weit über plakative Falschmeldungen hinausreicht. Aus der Praxis heraus lässt sich eine Einsicht der Desinformationsforschung bestätigen: Nicht das Vorhandensein einzelner Falschinformationen ist das Problem, sondern das Ausmaß und die Art ihrer Verbreitung. Hinzu kommt eine neue Entwicklung: Diese Verbreitung richtet sich längst nicht mehr ausschließlich an Menschen. Mit Suchmaschinen, Retrieval-Systemen und Sprachmodellen ist ein zweites, maschinelles Publikum entstanden, für das andere Mechanismen und Messgrößen gelten.

Selten gelogen, oft verzerrt

Die kommunikationswissenschaftliche Forschung zu Desinformation zeigt: Frei erfundene, nachweislich falsche Behauptungen sind eher die Ausnahme. Altay, Berriche und Acerbi [1] argumentieren, dass reine Falschinformation regelmäßig überschätzt wird – verbreiteter sind Memes und Unterhaltung, die bestimmte Botschaften transportieren.


Kennzeichnend für Desinformation ist vielmehr ein Bündel struktureller und stilistischer Merkmale. Damstra et al. [6] identifizieren vier wiederkehrende Muster: negative Emotionen wie Wut und Angst, wenige überprüfbare Informationen, sensationalistische Überschriften und – geprägt durch den US-Fokus der Studien – eine ideologische Schlagseite.


Bader et al. [3] beschreiben deutschsprachige Desinformation als eine Art Pseudo-Journalismus: Sie imitiert Aufmachung und Themenwahl seriöser Nachrichtenmedien und setzt dabei auf negativ besetzte Themen wie Migration und innere Sicherheit. So nutzt sie die Form des Journalismus, während sie zugleich das Vertrauen in etablierte Medien untergräbt.


Der digitale Angriff auf die Realität besteht damit selten aus der klar identifizierbaren Lüge. Entscheidend sind die Vermischung von Nachricht und Meinung, gezielte Zuspitzung, emotionale Aufladung und massenhafte Zirkulation. In der Summe entsteht ein Zerrbild der Realität – mit Folgen dafür, wie sich Desinformation erkennen und messen lässt.

Der operative Fahrplan: Ein kundschaftorientierter Managementprozess

Digitale B2B-Services sind kein einmaliges IT-Projekt, sondern das Ergebnis eines strukturierten Managementprozesses, der sich die skizzierten Hebel zunutze macht und so den Preis für Kund:innen systematisch reduziert. Entscheidend ist dabei ein Perspektivwechsel weg von der Funktionalität hin zum Nutzungserlebnis. Abbildung 1 stellt diesen Prozess in seinen vier Phasen dar.

Warum ein hybrider Ansatz nötig ist

Zwei Einschränkungen wiegen schwer: Zum einen ist unklar, wie lange stilistische Merkmale belastbar bleiben – zumal generative Text-KI ihre Aussagekraft weiter verringern dürfte. Zum anderen stößt Automatisierung bei der entscheidenden Frage an Grenzen: Ist eine Behauptung tatsächlich wahr oder falsch? Die Unterscheidung zwischen belegter Tatsache, unüberprüfbarer Behauptung, unmarkierter Meinung und nachweislicher Falschinformation erfordert weiterhin qualifizierte menschliche Prüfung. Automatisierte Verfahren und LLMs liefern hier keine durchgehend belastbaren Ergebnisse und werten mitunter bereits vorhandene Quellen als Wahrheitsbeleg, ohne diese ausreichend kritisch zu prüfen.


Desinformationsanalyse gelingt deshalb am zuverlässigsten hybrid: Algorithmische und KI-gestützte Verfahren erfassen große Mengen an Beiträgen und erkennen Muster, qualifizierte menschliche Prüfung übernimmt dort, wo die Maschine an Grenzen stößt. Auch pressrelations folgt diesem Ansatz. Entscheidend ist das Zusammenspiel mehrerer Kriterien: Emotionale Sprache, ein fehlendes Impressum oder ein Fokus auf Kriminalität sind für sich genommen nicht aussagekräftig. Erst mehrere zusammentreffende Merkmale verdichten sich zu einem belastbaren Indiz.

Auch die EU fokussiert sich nicht auf den Inhalt allein

Auch auf europäischer Ebene hat sich ein Ansatz etabliert, der nicht allein den Inhalt betrachtet. Der Europäische Auswärtige Dienst (EEAS) fasst ihn seit 2021 unter „Foreign Information Manipulation and Interference“ (FIMI) zusammen. FIMI beschreibt laut EEAS [17] ein überwiegend nicht illegales, manipulatives, vorsätzliches und koordiniertes Verhaltensmuster, das Werte, Verfahren und politische Prozesse beeinträchtigen kann und von staatlichen oder nichtstaatlichen Stellen ausgeht. Der entscheidende Perspektivwechsel: Der eigentliche Medieninhalt steht nicht im Mittelpunkt.


Das zeigt ein einfaches Beispiel: Eine wahre, aber gesellschaftlich spaltende Meldung wird über Tausende automatisierte Konten verstärkt, bis sie wie ein flächendeckendes Problem wirkt. Gelogen wurde nicht, manipuliert wurde trotzdem – durch massenhafte Verbreitung. Erst wiederkehrende Muster über Konten, Plattformen und Zeiträume hinweg ergeben ein FIMI-Bild. Das EEAS spricht in Anlehnung an die Cybersicherheit von Taktiken, Techniken und Prozeduren, deren Kombination Absicht und Urheberschaft erkennbar machen kann.

Forschung und FIMI folgen damit derselben Grundidee: Desinformation wird durch kumulative Muster sichtbar. Während die Forschung Merkmale von Inhalt, Struktur und Verbreitung bündelt, betrachtet FIMI wiederkehrende Verhaltensweisen und deren Koordination.

Faktencheck als Verstärker

Dass sich Falschmeldungen weiter verbreiten als die Wahrheit, gehört zu den robustesten Forschungsbefunden. Vosoughi et al. [12] untersuchten rund 126.000 Meldungen zwischen 2006 und 2017: Falschmeldungen verbreiteten sich signifikant schneller und breiter, die Wahrheit brauchte rund sechsmal so lange, um gleich viele Personen zu erreichen. Als Gründe gelten Neuigkeitswert und stärkere emotionale Reaktionen. Ceylan et al. [4] zeigen zudem, dass das Teilen von Fehlinformation durch belohnungsbasierte Mechanismen sozialer Medien begünstigt wird.


Die Kognitionspsychologie erklärt einen weiteren Effekt: Nach dem Illusory Truth Effect wirken wiederholt gehörte Aussagen allein durch ihre Vertrautheit wahrer. Der Continued Influence Effect beschreibt, dass Fehlinformationen selbst nach einer Korrektur weiterwirken können. Jeder Faktencheck, der das Narrativ prominent wiederholt, kann damit ungewollt dessen Reichweite erhöhen. Wirksame Faktenchecks stellen deshalb die Korrektur statt der Falschbehauptung in den Vordergrund.


Untersuchungen von pressrelations mit NewsGuard und dem Fraunhofer FKIE zu den US-Wahlen 2020 und zur Bundestagswahl 2021 [14][16] zeigen einen ähnlichen Effekt: Desinformationsnarrative gewinnen zusätzliche Reichweite, wenn etablierte Medien sie aufgreifen und korrigieren. Ein erheblicher Teil ihrer medialen Präsenz entstand dabei erst durch die journalistische Auseinandersetzung.

Das Institute for Strategic Dialogue (ISD) [20] beschreibt eine vergleichbare Dynamik bei Suchmaschinen. Untersucht wurden Verlinkungen auf das russlandnahe Pravda-Netzwerk von 919 Domains zwischen Juli 2024 und Juli 2025. Von 303 näher betrachteten englischsprachigen Seiten behandelten 81 Prozent die Quelle als glaubwürdig, elf Prozent nannten ihren russischen Ursprung ohne weitere Einordnung und nur drei Prozent ordneten sie als Teil einer Informationsoperation ein. Selbst eine kritische Verlinkung kann von Suchmaschinen als Signal für Relevanz gewertet werden. Der Faktencheck, der sauber auf seine Quelle verweist, kann sie damit ungewollt im Ranking stärken.


Auch die Suche selbst kann diesen Effekt verstärken. Aslett et al. [2] zeigen, dass die Online-Suche nach einer Falschmeldung deren wahrgenommene Glaubwürdigkeit erhöhen kann, wenn Nutzende in sogenannte „Data Voids“ geraten – Informationsräume, in denen vor allem wenig seriöse Quellen das betreffende Narrativ stützen.

Wenn die Kopie so gut ist wie das Original

Die zweite Operation zeigt dasselbe Muster in noch reinerer Form im Kontext des zuvor erwähnten russischen Pravda-Netzwerks. Im Februar 2024 legte die französische Behörde VIGINUM [22] ein Netzwerk pro-russischer Websites offen und taufte es „Portal Kombat“. Das Netzwerk erfindet praktisch keine Inhalte. Es aggregiert Inhalte aus russischen Staatsmedien, von pro-russischen Telegram-Kanälen und weiteren Quellen und verteilt sie über Dutzende Domains in zahlreichen Sprachen. Das ISD [20] beziffert den Ausstoß auf mehr als sechs Millionen Artikel seit Bestehen, mit einem neuen Beitrag alle paar Sekunden.


Dies deckt sich mit der Forschung. Die Produktion direkter Lügen ist, wie Altay et al. [1] betonen, vergleichsweise selten und stellt nicht das eigentliche Problem dar. Die Erzeugung eines Zerrbilds durch selektive Verstärkung erwünschter Botschaften und Bilder mittels massiver Zirkulation ist das eigentliche Problem. Nur fünf Prozent der Seiten im untersuchten ISD-Sample waren selbst russlandnah, woraus das ISD schließt, dass das Netzwerk bislang primär pro-Kreml-Inhalte verstärkt, statt eigene Narrative hervorzubringen [20].


Doch wen erreicht diese Zirkulation der Inhalte überhaupt? Hier wird es paradox, denn trotz des enormen Ausstoßes erreicht Portal Kombat kaum menschliche Leser. VIGINUM selbst maß für die fünf untersuchten Pravda-Seiten im November 2023 nur rund 31.000 Besuche pro Monat. Nach der klassischen Logik der Desinformationsanalyse, in der Reichweite als primärer Filter dient, wäre dieses Netzwerk schlicht irrelevant und fiele durch das Raster. Genau hier versagt Reichweite als Filter, denn das Publikum ist nicht menschlich. Damit verschiebt sich die Logik der Desinformation grundlegend: Entscheidend ist nicht mehr allein, wie viele Menschen einen Inhalt sehen, sondern auch, wie sichtbar und glaubwürdig er für Maschinen erscheint.


Sind anstelle von Menschen Trainingsdaten und Retrieval-Systeme das Ziel, wird Reichweite zur nachrangigen Messgröße. An ihre Stelle tritt anderes: die schiere Menge, die technische Auffindbarkeit und vor allem die Frage, wie viele scheinbar seriöse Seiten auf die Inhalte verweisen. Das machten sich die Akteure zunutze, wie DFRLab und CheckFirst [23] gemessen haben: Über die Wikipedia-API fanden sie 1.907 Hyperlinks auf 162 Domains des Pravda-Netzwerks, verteilt über 1.672 Seiten in 44 Sprachversionen, am stärksten in der russischen und ukrainischen Ausgabe. Eine unbekannte Domain hat für kein Retrieval-System Gewicht; dieselbe Domain als Quellenangabe in einer Wikipedia-Fußnote erscheint plötzlich deutlich vertrauenswürdiger und Wikipedia ist für viele Sprachmodelle eine primäre Wissensquelle.


Für die Medienbeobachtung ist das ein vertrautes Muster in ungewohnter Rolle. Die Backlink-Analyse ist ein gängiges Instrument der Medienanalyse. Damit werden eingehende und ausgehende Links in Beiträgen erfasst, um Verlinkungsbeziehungen zwischen Websites zu bestimmen. Portal Kombat betreibt dieselbe Verlinkungsmechanik aktiv und baut sich genau jene Struktur, die eine solche Analyse messen würde. Der Unterschied zum klassischen Suchmaschinenmarketing liegt allein in der Zielgruppe: nicht menschliche Rezipienten, sondern maschinelle Retrieval-Systeme.

Feindliche GEO: Wenn Desinformation für Maschinen optimiert wird

Portal Kombat betreibt im Kern feindliche Generative Engine Optimization (GEO). Während GEO im Marketing Sichtbarkeit in Retrieval-Systemen, Autoritätssignale und Zitierhäufigkeit in KI-Antworten optimiert, werden diese Mechanismen hier zum Angriffsvektor. Das American Sunlight Project [24] geht davon aus, dass die Hochvolumen-Strategie des Netzwerks darauf abzielt, Sprachmodelle zu beeinflussen und die eigenen Inhalte sichtbarer zu machen.


Für solche maschinenorientierten Netzwerke reicht klassische Reichweite als Messgröße nicht aus. Relevant wird die Retrieval-Sichtbarkeit: Präsenz in Crawl-Korpora, Zitationen auf Plattformen mit hoher Domain Authority, Indexabdeckung und die Frage, welche Quellen Sprachmodelle tatsächlich heranziehen. Das GEO-Monitoring von pressrelations erfasst beispielsweise zitierte Quellen und deren Domain Authority. So lässt sich auch eine mögliche Narrativ-Injektion untersuchen.


Bei der Bewertung ist jedoch Zurückhaltung geboten. NewsGuard [25] stellte fest, dass führende Sprachmodelle Falschbehauptungen aus dem Pravda-Netzwerk in bis zu einem Drittel der Fälle wiedergaben. Das ISD [20] fand dagegen nur selten direkte Pravda-Verlinkungen. Die Ergebnisse widersprechen sich nicht zwingend: NewsGuard untersuchte die Reproduktion der Narrative, das ISD die Zitation der Quellen. Ein Modell kann Behauptungen wiedergeben, ohne ihren Ursprung offenzulegen. Werden Trainings- oder Wissensbestände gezielt mit manipulativen Inhalten beeinflusst, spricht man von Data Poisoning.


Ob Portal Kombat damit tatsächlich erfolgreich KI-Systeme beeinflusst, ist bislang umstritten und schwer messbar. Genau darin liegt die entscheidende Messlücke: Menschliche Reichweite lässt sich zuverlässig erfassen, für maschinelle Sichtbarkeit fehlen etablierte Verfahren. Auch das ISD [20] sieht weiteren Forschungsbedarf dazu, wie Suchmaschinen und Sprachmodelle solche Inhalte ausspielen.

Das zweite Publikum

Erstens muss Desinformation kumulativ geprüft werden, da kein Einzelmerkmal eine Einstufung trägt. Relevant sind unter anderem Verbreitung, Fakten-Meinungs-Mischung, Emotionalität, Transparenz und Sensationalismus. Hameleers et al. [7] zeigen zudem: Teilnehmende akzeptierten Korrekturen seltener, wenn Fakten und Falsches vermischt wurden, als bei rein desinformierenden Inhalten.


Zweitens bleibt menschliche Prüfung entscheidend. Der hybride Ansatz aus KI-gestützter Breite und qualifizierter menschlicher Prüfung ist deshalb weiterhin besonders wichtig.


Drittens kann Infrastruktur den Inhalt schlagen: Der beschriebene Fall zeigt, dass Eingriffe in die technische Lieferkette mitunter unmittelbarer wirken als die nachträgliche Widerlegung einzelner Inhalte.


Viertens gewinnt die redaktionelle Entscheidung über Verlinkungen an Bedeutung. Wenn Links unabhängig von ihrer Intention als Autoritätssignal wirken können, wird die Prüfung von Quellen und Zitaten wichtiger. Das ISD [20] bietet dafür eine kostenlose Browsererweiterung, die vor Seiten des Pravda-Netzwerks warnt.


Über Jahre hinweg hat sich ein Kernmechanismus der Desinformation kaum verändert: Sie gewinnt Wirkung dadurch, dass andere ihre Botschaften weitertragen – auch gegen deren Absicht. Verändert hat sich jedoch das Publikum. Neben die menschliche Zielgruppe ist eine maschinelle getreten, die nicht klickt, nicht teilt und in keiner klassischen Reichweitenstatistik auftaucht, deren Antworten aber zunehmend beeinflussen, welche Informationen Menschen erreichen.


Damit reichen die bisherigen Messgrößen allein nicht mehr aus. Ein Netzwerk mit kaum menschlicher Reichweite kann dennoch in den Informationsraum von Sprachmodellen gelangen. Medienanalyse und Desinformationsforschung müssen deshalb künftig beides betrachten: menschliche Reichweite und maschinelle Sichtbarkeit.

Quellen und Nachweise

  • 1. Altay, S., Berriche, M., & Acerbi, A. (2023). Misinformation on Misinformation: Conceptual and Methodological Challenges. Social Media + Society, 9(1). https://doi.org/10.1177/20563051221150412
  • 2. Aslett, K., Sanderson, Z., Godel, W., Persily, N., Nagler, J., & Tucker, J. A. (2023). Online searches to evaluate misinformation can increase its perceived veracity. Nature, 625, 548–556. https://doi.org/10.1038/s41586-023-06883-y
  • 3. Bader, K., Jansen, C., & Rinsdorf, L. (2020). Jenseits der Fakten: Deutschsprachige Fake News aus Sicht der Journalistik. In Desinformation aufdecken und bekämpfen (S. 33–76). Nomos. https://doi.org/10.5771/9783748904816-33
  • 4. Ceylan, G., Anderson, I. A., & Wood, W. (2023). Sharing of misinformation is habitual, not just lazy or biased. PNAS, 120(4). https://doi.org/10.1073/pnas.2216614120
  • 5. Choras, M., et al. (2020). Advanced Machine Learning Techniques for Fake News (Online Disinformation) Detection: A Systematic Mapping Study. arXiv:2101.01142
  • 6. Damstra, A., et al. (2021). What Does Fake Look Like? A Review of the Literature on Intentional Deception in the News and on Social Media. Journalism Studies, 22(14), 1947–1963. https://doi.org/10.1080/1461670X.2021.1979423
  • 7. Hameleers, M., Humprecht, E., Möller, J., & Lühring, J. (2023). Degrees of deception. Information, Communication & Society, 26(9), 1699–1715. https://doi.org/10.1080/1369118X.2021.2021270
  • 8. Humprecht, E. (2019). Where ‚fake news‘ flourishes: a comparison across four Western democracies. Information, Communication & Society, 22(13), 1973–1988. https://doi.org/10.1080/1369118X.2018.1474241
  • 9. Lebernegg, N., Eberl, J.-M., Tolochko, P., & Boomgaarden, H. (2024). Do You Speak Disinformation? Digital Journalism, 13(8), 1373–1398. https://doi.org/10.1080/21670811.2024.2305792
  • 10. Pamment, J. (2020). The EU’s Role in Fighting Disinformation: Crafting a Disinformation Framework. Carnegie Endowment for International Peace.
  • 11. Rieger, J., et al. (2023). Debunking Disinformation with GADMO. Proceedings of the 4th Conference on Language, Data and Knowledge (S. 520–531). https://aclanthology.org/2023.ldk-1.56
  • 12. Vosoughi, S., Roy, D., & Aral, S. (2018). The spread of true and false news online. Science, 359(6380), 1146–1151. https://doi.org/10.1126/science.aap9559
  • 13. Yankoski, M., Scheirer, W., & Weninger, T. (2021). Meme warfare: AI countermeasures to disinformation should focus on popular, not perfect, fakes. Bulletin of the Atomic Scientists, 77(3), 119–123. https://doi.org/10.1080/00963402.2021.1912093
  • pressrelations-Studien (mit NewsGuard und Fraunhofer FKIE)
  • 14. pressrelations / Fraunhofer FKIE / NewsGuard: Medienanalyse zum US-Wahlkampf 2020.
  • 15. pressrelations / NewsGuard: Analyse des Wahlbetrugsnarrativs 2016–2020.
  • 16. pressrelations: Desinformationsanalyse zur Bundestagswahl 2021.
  • Institutionelle und journalistische Quellen
  • 17. European External Action Service (EEAS): Information Integrity and Countering FIMI; 1st (2023) und 3rd (2025) Report on Foreign Information Manipulation and Interference Threats.
  • 18. EU DisinfoLab: FIMI – Towards a European Redefinition of Foreign Interference (2023); Doppelgänger-Dokumentation.
  • 19. DISARM Foundation: Framework-Dokumentation.
  • 20. Institute for Strategic Dialogue (ISD): Link by link – Hundreds of webpages cite pro-Russia Pravda network (2025); Talking points – When chatbots surface Russian state media.
  • 21. CORRECTIV: Recherchen zur Doppelgänger-Kampagne (2024).
  • 22. VIGINUM / SGDSN: Portal Kombat – A structured and coordinated pro-Russian propaganda network (2024).
  • 23. CheckFirst / DFRLab: „Pravda“ Network – Worldwide Expansion and LLM/Wikipedia Pollution; Russia-linked Pravda network cited on Wikipedia, LLMs, and X (2025).
  • 24. American Sunlight Project: Pravda Network Report (2025).
  • 25. NewsGuard: A Well-Funded Moscow-Based Global News Network Has Infected Western AI Tools (2025).

LinkedIn
WhatsApp
Telegram
Facebook

August-Wilhelm Scheer Institut

Weitere Artikel entdecken

Entdecken Sie unsere neusten Ausgaben

Netzwerk schlägt Zufall