"ChatGPT, generiere mir einen Hackerangriff"
Wie künstliche Intelligenz Cybersicherheit neu definiert
Claudia Eckert, Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC
(Titelbild: © Adobe Stock | 574643266 | Supatman)
Kurz und bündig:
Entwicklungssprünge in der Künstlichen Intelligenz (KI) haben auch auf die Cybersicherheit einen starken Einfluss. KI macht es Hacker:innen einfacher, Angriffe durchzuführen, gleichzeitig bietet sie aber auch die Möglichkeit, sich besser gegen Cybercrime zu schützen. Dafür sind allerdings weitreichende Kompetenzen und Fähigkeiten in Deutschland und Europa nötig, um Schlüsseltechnologien zu gestalten, KI-Systeme im Bezug auf Sicherheitsvorgaben zu testen und einzusetzen.
Entwicklungssprünge in der Künstlichen Intelligenz (KI) schlagen ein neues Kapitel in der Cybersicherheit auf. Generative KI wie ChatGPT ermöglicht auch wenig versierten Angreifenden ausgefeilte Cyberangriffe. Zudem ist KI selbst anfällig für Manipulation. Um der Entwicklung einen Schritt voraus zu sein, müssen rein reaktive Verteidigungshaltungen überdacht und eine vertrauenswürdige Cyberresilienz aufgebaut werden. Dafür benötigt man in Deutschland und Europa Kompetenzen und Fähigkeiten, um Schlüsseltechnologien aktiv zu gestalten, erforderliche Sicherheitsvorgaben zu definieren und Systeme verlässlich auf diese Sicherheitsvorgaben zu prüfen.
Künstliche Intelligenz (KI) verändert unsere Welt in vielerlei Hinsicht. Auch vor der IT-Sicherheit macht ihr wachsender Einfluss nicht halt. Schon seit längerer Zeit werden hier KI-Techniken eingesetzt, um etwa frühzeitig Abweichungen vom erwarteten Verhalten bei Zugriffen auf Daten oder bei der Kommunikation zu erkennen. Mit der rasanten Entwicklung der „Large Language Models (LLM)“ – großer Sprachmodelle, wie sie ChatGPT von OpenAI oder Bard von Google zugrunde liegen – stehen seit Kurzem der breiten Öffentlichkeit sehr mächtige und zugleich einfach zu nutzende generative Techniken zur Verfügung, die eine große Unterstützung bei Alltäglichem wie der Texterstellung bieten. Gleichzeitig können aber auch Hacker:innen solche Techniken nutzen, um sich bei der Erstellung von Phishingmails, bei der Programmierung von Ransomware oder bei der gezielten Suche nach Schwachstellen unterstützen zu lassen. Damit erhalten Angreifende neue Werkzeuge, um sensible Daten zu stehlen, Systeme zu manipulieren und damit Unternehmen oder Personen zu schaden. Generative KI-Techniken bieten aber auch signifikante Potentiale für die Verbesserung der Sicherheitslage. So könnten sie in Zukunft IT-Sicherheitsverantwortliche dabei unterstützen, Systeme besser abzusichern.
Leistungsfähigkeit generativer KI
GPT ist das Akronym für „Generative Pre-trained Transformer“ – eine Klasse von Textgeneratoren, die auf Basis tiefer neuronaler Netze arbeiten. Im November 2022 wurde ChatGPT-3 veröffentlicht, dessen umfangreiches Sprachmodell (LLM) mittels eines Pools von über 175 Milliarden Textfragmenten trainiert wurde. Das tiefe neuronale Netz lernt daraus die Wahrscheinlichkeiten für Wortübergänge und generiert damit Texte, deren Wortabfolgen sich aus diesen Wahrscheinlichkeiten ergeben. Es steckt somit keine menschliche Kreativität und auch kein menschliches Verständnis hinter den von ChatGPT generierten Texten, sondern es handelt sich um erlernte statistische Assoziationen, die völlig falsch sein können. ChatGPT ist auch ein Dialogsystem, das sich an Gesprächspartner anpasst und eine Unterhaltung mit überzeugenden, jedoch nicht notwendigerweise zu korrekten Antworten führt. Drei Monate nach seiner Veröffentlichung verzeichnete ChatGPT bereits mehr als 100 Millionen Nutzende. Damit ist es die bis zu diesem Zeitpunkt am schnellsten wachsende Verbraucheranwendung. Im März 2023 wurde mit ChatGPT-4 ein deutlich leistungsfähigeres Modell vorgestellt, welches das GPT-Sprachmodell unter anderem mit der Fähigkeit, passende Bilder zu berücksichtigen, kombiniert.
Herausforderungen von generativer KI für die Cybersicherheit
Für die Cybersicherheit ergeben sich durch die rasante Entwicklung generativer KI verschiedene Konsequenzen, die neue Risiken wie auch Chancen schaffen. Als Schattenseite ist zunächst festzustellen, dass Nutzende über die Dialogsysteme wie ChatGPT verleitet werden, sensible Daten an die zugrundeliegenden Plattformen wie zum Beispiel OpenAI bei ChatGPT preiszugeben, ohne Kenntnis darüber, wie die Plattformen diese Informationen weiterverwenden. Darüber hinaus können die generierten Ergebnisse Urheberrechte verletzen, ohne dass dies unmittelbar ersichtlich wird. Schließlich können sich Hacker:innen mit den neuen Technologien auch einfache Angriffe generieren lassen. Selbst wenig versierte Angreifende können ChatGPT dazu nutzen, in Programmteilen nach Sicherheitslücken zu suchen und sich erläutern zu lassen, wie sie konkret ausgenutzt werden können. Auch wenn interne Regelwerke der Software verhindern, dass Angreifende solche Auskünfte unverblümt erfragen, so zeigen viele Beispiele, wie diese Einschränkungen durch geschicktes Fragen umgangen werden können. Kurzum: Mit der Weiterentwicklung generativer KI wächst auch ihr Missbrauchspotential. Noch stoßen die Verfahren bei der Suche nach Sicherheitslücken rasch an Grenzen. Einfache Schwachstellen in kurzen Programmcodeteilen werden zwar identifiziert, aber die Qualität der Analysen scheitert derzeit noch bei längeren Codepassagen und kann mit expertenbasierten Analysen bei weitem nicht Schritt halten.
Neben den Risiken bringen generative KI-Verfahren auch große Chancen für die Cybersicherheit mit sich. Nicht nur Angreifende können sie nutzen, um Sicherheitslücken in Programmen zu identifizieren, sondern auch Code-Analyst:innen, um KI nutzbringend in Sicherheitstests einzusetzen. Auch Software-entwickler:innen können auf diese Verfahren zurückgreifen, um schneller zu lernen, worauf bei der Entwicklung sicherer Software zu achten ist. So ließe sich die Qualität von Software mittel- bis langfristig spürbar verbessern. Damit dieses Potential ausgeschöpft werden kann, sind die Nachvollziehbarkeit der Ergebnisse und die Korrektheit der Trainingsdaten unverzichtbar. Sind diese Voraussetzungen erfüllt, können solche Technologien sogar dazu beitragen, die Lücken zu füllen, die sich bereits heute infolge des anhaltenden Fachkräftemangels bei IT-Berufen und in der IT-Sicherheit deutlich zeigen.
Ein weiterer aussichtsreicher Anwendungsfall von KI-Technologien zur Steigerung der Cybersicherheit ist die automatisierte Erkennung von Verhaltensanomalien von Software oder von auffälligem Datenverkehr im Unternehmens- oder Telekommunikationsnetz. Solche Verfahren der „Threat Intelligence“ sind bereits heute vielfältig im Einsatz. Für ein aussagekräftiges und jederzeit aktuelles Bild der Sicherheitslage werden zunehmend dezentrale föderierte Ansätze vorangetrieben, um lokale Lagebilder mit globalen Erkenntnissen zu verknüpfen. Basierend darauf ließen sich mögliche Angriffe und Ziele mit hoher Genauigkeit vorhersagen (Predictive Security). Dies würde es ermöglichen, proaktiv Schäden zu vermeiden. Entscheidend bleibt die Qualität und Vertrauenswürdigkeit der zugrundeliegenden Verfahren und Trainingsdaten.
KI als neue Zielscheibe von Angriffen
Ungeachtet der Potenziale von KI für mehr Cybersicherheit kann KI natürlich auch selbst Ziel von Angriffen werden, weshalb die Frage nach der Vertrauenswürdigkeit der eingesetzten KI-Verfahren in der Cybersicherheit grundlegend ist. So können Algorithmen durch die Eingabe fehlerhafter Daten, sogenannten Adversarial Examples, ausgetrickst werden. Die KI arbeitet dann zwar mathematisch korrekt weiter, kommt aber aufgrund der eingeschleusten falschen Daten zu falschen Ergebnissen. Die Konsequenzen können vielfältig beziehunsgweise gravierend sein. Beispiele reichen von der fälschlichen Authentisierung, also der Akzeptanz der Identität von Angreifenden bei der KI-basierten Zugangsprüfung, bis hin zur Gefährdung von Menschenleben beim autonomen Fahren durch die fehlerhafte Interpretation eines Stoppschilds. Um das zu verhindern, muss die Resilienz von KI-Verfahren gegenüber Angriffen verbessert werden. Eine einfache Maßnahme ist, die KI auch mit „vergifteten“ Informationen, also mit gezielt manipulierten Daten, zu trainieren, so dass sie lernt, diesen Umstand in ihren Entscheidungen zu berücksichtigen. Alternativ lässt sich ein weiteres neuronales Netz hinzuschalten, das die KI kontinuierlich überwacht.
Mit den rasanten technologischen Fortschritten in der KI geht auch der Ruf nach Lösungen einher, die es uns ermöglichen, uns aus der Spirale von immer intelligenteren Angriffen, auf die mit neuen Abwehrmaßnahmen zu reagieren ist, zu befreien. Es gitl, diese Verteidigungshaltung zu überdenken und eine vertrauenswürdige Cyberresilienz aufzubauen, die uns erlaubt, auch dann souverän zu agieren, wenn wir attackiert werden. Dazu müssen unsere Systeme darauf vorbereitet sein, weiterhin ihre Kernaufgaben verlässlich zu erledigen, obwohl sie angegriffen werden. Der Ansatz der vertrauenswürdigen Cyberresilienz sieht dabei vor, dass IT-Systeme so konzipiert und betrieben werden, dass sie mögliche Angriffe frühzeitig erkennen (detect), angemessen darauf reagieren (react), sich von ihnen erholen (recover) können und nach den Angriffen für künftige Angriffe noch besser geschützt (protect) sind.
Gestalten statt nur reagieren
Voraussetzung dafür ist, dass wir die Normen und Standards für kritische Soft- und Hardware auf internationaler Ebene aktiv im Sinne einer vertrauenswürdigen Cyberresilienz mitgestalten. Hand in Hand mit der Entwicklung von Sicherheitsstandards werden Verfahren benötigt, um die Einhaltung der Vorgaben systematisch und kontinuierlich zu überprüfen. Dabei ist zu berücksichtigen, dass wir zunehmend komplexe Software einsetzen, die aus Komponenten besteht, die aus unterschiedlichsten, häufig wenig vertrauenswürdigen Quellen entlang der Softwarelieferkette (Software Supply Chain) stammen. Damit einher geht das nicht kontrollierbare Risiko, dass mit jedem Update absichtlich oder unabsichtlich Schwachstellen in unsere Systeme eingebracht werden. Die kontinuierliche Überprüfung heutiger und allen voran auch zukünftiger Systeme muss daher weitestgehend automatisiert erfolgen, ohne gezielt unterlaufen oder manipuliert werden zu können oder Systemabläufe zu stören. Gleichzeitig ist es zur Bewertung der Bedrohungslage essenziell, einzelne Artefakte der Softwarekette zu identifizieren, ihre Herkunft herzuleiten und Prüftestate Dritter in Bezug auf ihre Aussagekraft bewerten zu können. Verändert sich die Sicherheitslage, müssen sich cyberresiliente IT-Systeme möglichst automatisch agil anpassen können.
Da es unrealistisch ist, alle Soft- und Hardwarekomponenten vollumfänglich und fortlaufend zu überwachen, werden in cyberresilienten Systemen zudem Maßnahmen benötigt, um auch nicht vertrauenswürdige Komponenten sicher in ein vertrauenswürdiges Gesamtsystem zu integrieren. Sehr einfache Beispiele sind virtuelle private Netze (VPN) oder Ende-zu-Ende-verschlüsselte Kommunikationsverbindungen.
Neue Technologien im Bereich der generativen KI werden zukünftig nicht nur in der Anwendung flächendeckend verbreitet sein, sondern auch Angreifende werden sie vielfältig für ihre Zwecke nutzen. Der Entwicklung auf der Seite der Angreifenden stets einen Schritt voraus zu sein, wird in der IT-Sicherheit deswegen immer wichtiger. Genau das ist das Ziel der vertrauenswürdigen Cyberresilienz.
Neben einer vorausschauenden Mitgestaltung von Normen und Standards für kritische Soft- und Hardware auf internationaler Ebene gilt es dafür auch, unsere geopolitischen und wirtschaftlichen Abhängigkeiten bei der Entwicklung von Zukunftstechnologien wie generativer KI zu reduzieren. Angepasste Sprachmodelle für spezielle sicherheitskritische Bereiche mit nachvollziehbaren hochwertigen Trainingsdaten und geprüften nachvollziehbaren Ergebnissen könnten eine Antwort sein.
Selbstverständlich werden wir auch in Zukunft nicht alle Hard- und Software-Komponenten für sämtliche Zukunftstechnologien selbst produzieren oder entwickeln können. Der zentrale Appell an die Politik und an die forschenden Unternehmen ist es deshalb, Kompetenzen zur Erforschung von High-Tech-Lösungen konsequent weiter in Deutschland und Europa zu fördern, sodass Standards und Schlüsseltechnologien für die vertrauenswürdige Cyberresilienz entwickelt und gestaltet werden.