KI-Detektoren

Jens O. Brelle, MMKH Hamburg und Janine Horn, ELAN e.V.

(Titelbild: © Adobe Firefly)

Die Diskussion um den Einsatz von Künstlicher Intelligenz (KI) in akademischen Prüfungen gewinnt zunehmend an Bedeutung. Insbesondere die Frage, ob und wie KI-unterstützte Leistungen erkannt und sanktioniert werden können, beschäftigt Hochschulen und Gerichte gleichermaßen.

Kürzlich entschied das Verwaltungsgericht (VG) München [1] über zwei Anträge auf einstweiligen Rechtsschutz abgelehnter Bewerber zum Masterstudium, welche mutmaßlich einen mittels KI-generierten englischsprachigen Essay eingereicht haben sollen. Beide Anträge wurden wegen Feststellung einer Täuschung mittels Anscheinsbeweis abgelehnt. Nach dem hochschulrechtlichen Grundsatz der Leistungserbringung sind Prüfungsleistungen selbständig und ohne unzulässige Hilfsmittel zu erbringen. Prüflinge geben in der Regel eine entsprechende Eigenständigkeitserklärung ab. Ist ein expliziter Verzicht auf die Verwendung von KI-Modellen enthalten, liegt ein Regelverstoß vor, sofern die Leistung ganz oder teilweise mittels KI erstellt wurde, so das VG. Ergebnisse von KI-Detektoren seien allein nicht entscheidendes Indiz. Es bedarf zusätzlich einer eigenständigen Stellungnahme von menschlichen Prüfenden, so das VG weiter. Das VG ging scheinbar davon aus, dass die aktuell verfügbaren Detektoren weder genau noch zuverlässig sind.
Laut einer Studie zu 14 getesteten Detektoren neigen diese in erster Linie dazu, die Texte als von Menschen geschrieben zu klassifizieren, anstatt generierten Text zu erkennen. Bei Texten, die von einer KI erstellt und anschließend überarbeitet wurden, soll die Genauigkeit nur bei 50 Prozent liegen [2]. Ein von einer KI erstellter Text, der von einem Prüfling leicht überarbeitet wurde, wird möglicherweise nicht mehr zuverlässig erkannt. Allerdings erkannte in einem weiteren Test ein Detektor, der nicht Gegenstand der Studie war, erst einen weitgehend bearbeiteten Text nicht mehr [3]. Aufgrund dieser Unwägbarkeiten sollte der Nachweis einer Täuschung neben dem Einsatz von Detektoren mit einer menschlichen Analyse von KI-typischen Merkmalen erfolgen. Das sind etwa formvollendete Texte, ohne Rechtschreib-, Interpunktions- oder Grammatikfehler sowie typische Fehler von KI-Modellen, wie Halluzinationen, Übertreibungen, ungenaue Quellenangaben bei Zitaten. Beide Verfahren bleiben allerdings fehlerhaft. Es besteht die Gefahr, die Beweislast auf Prüflinge zu verschieben, welche sich für besonders gute Leistungen rechtfertigen müssten. Nicht immer ist ein Vergleich zu vorher erbrachten Leistungen des gleichen Prüflings oder zu anderen Prüflingen möglich.

Das Urheberrecht schützt geistige Schöpfungen, die eine gewisse Schöpfungshöhe erreichen. Dazu gehören in der Regel auch studentische Prüfungsarbeiten wie Hausarbeiten, Abschlussarbeiten oder Dissertationen, vgl. § 2 Abs. 1 Nr. 1 und Nr. 7 des Urheberrechtsgesetzes (UrhG). Somit haben auch Prüflinge das ausschließliche Recht zu bestimmen, ob und wie ihr Werk in urheberrechtlich relevanter Weise behandelt wird, zum Beispiel durch eine Vervielfältigung im Kontext der Verwendung von KI-Detektoren. Beim Upload einer Prüfungsarbeit in einen KI-Detektor wird eine digitale Kopie des Werkes erstellt. Die Eingabe kann darüber hinaus weitere urheberrechtlich relevante Handlungen umfassen. Je nach Funktionsweise des Detektors könnte die Arbeit für einen größeren Personenkreis zugänglich gemacht werden und somit eine öffentliche Zugänglichmachung erfolgen. Die KI könnte die Arbeit in eine andere Form umwandeln oder Teile extrahieren, was eine urheberrechtlich relevante Bearbeitung darstellen kann. Schließlich kann die Arbeit in Form von Trainingsdaten Weiterverwendung finden. Diese Handlungen und Eingriffe in das Ausschließlichkeitsrecht der Prüflinge bedürfen einer rechtlichen Grundlage. In Betracht kommt eine Einräumung von Nutzungsrechten nach § 31 UrhG beziehungsweise Zustimmung des Prüflings, wobei deren Freiwilligkeit aus prüfungsrechtlicher Sicht problematisch sein wird. Besser ist es eine Regelung der Nutzung von KI-Detektoren in der Prüfungsordnung der Hochschule zu verankern, so die Empfehlung des Deutschen Hochschulverbandes [4].

Nach Auffassung des Europäischen Gerichtshofs (EuGH) sind auch Prüfungsleistungen als personenbezogene Daten einzuordnen [5]. Es ist dabei unerheblich, ob der Prüfende den Prüfling im Zeitpunkt der Korrektur identifizieren kann oder nicht. Ausreichend für den Personenbezug und damit für die Geltung datenschutzrechtlicher Normen wie der Datenschutz-Grundverordnung (DSGVO) sowie der jeweiligen Landesdatenschutzgesetze ist, dass ein Prüfling entweder direkt über seinen Namen oder indirekt über eine Kennnummer identifiziert werden kann.
Die Eingabe von Prüfungsarbeiten in KI-Detektoren von Prüfungsarbeiten stellt eine Verarbeitung personenbezogener Daten dar. Nach Art. 6 DSGVO bedarf jede Verarbeitung einer Rechtsgrundlage. In Betracht kommt hier insbesondere die Einwilligung des betroffenen Prüflings gemäß Art. 6 Abs. 1 lit. a DSGVO, wobei von einer erforderlichen Freiwilligkeit im Abhängigkeitsverhältnis zwischen Prüfling und Hochschule zumindest dann nicht auszugehen sein wird, wenn keine freie Wahl besteht, die Prüfung auch bei Verweigerung einer solchen ablegen zu dürfen. Ferner besteht eine große Unsicherheit für das dauerhafte Bestehen der Einwilligung durch das Recht auf jederzeitigen und grundlosen Widerruf, Art. 7 Abs. 3 DSGVO. Sinnvoller wäre eine gesetzliche Rechtsgrundlage. Diese könnte sich aus Art. 6 Abs. 1 lit. e DSGVO i.V.m den Hochschulgesetzen oder Prüfungsordnungen ergeben, sofern diese die Prüfung auf KI generierte Inhalte explizit vorsehen, insbesondere durch KI-Detektoren.
Bei der Verarbeitung durch KI-Detektoren müssten die weiteren Grundsätze des Art. 5 DSGVO beachtet werden, insbesondere die Verarbeitung nach Treu und Glauben, Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung sowie Integrität und Vertraulichkeit. Dies bedeutet, dass die Hochschulen klare Regelungen und Prozesse für den Umgang mit den Daten in KI-Detektoren etablieren müssen.
Die DSGVO sieht in Art. 13 und 14 zudem umfangreiche Informationspflichten vor. Prüflinge müssen demnach über die Verarbeitung ihrer Daten in KI-Detektoren informiert und insbesondere auf das Recht auf Auskunft, Berichtigung, Löschung und Widerspruch hingewiesen werden, Art. 15 bis Art. 21 DSGVO.
Je nach Umfang und Art der Datenverarbeitung kann eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein. Dies ist insbesondere der Fall, wenn neue Technologien zum Einsatz kommen oder eine systematische und umfangreiche Bewertung persönlicher Aspekte erfolgt. Beides kann auf den Einsatz von KI-Detektoren zum Zweck der Überprüfung von Prüfungsleistungen zutreffen.

Die Hochschulen müssen geeignete technische und organisatorische Maßnahmen treffen, um ein angemessenes Schutzniveau zu gewährleisten, Art. 32 DSGVO. Dies umfasst unter anderem Zugriffskontrollen, Verschlüsselung und regelmäßige Überprüfungen der Sicherheitsmaßnahmen. Sofern die Hochschulen die KI-Detektoren nicht auf eigenen Servern betreiben, sondern fremde Anbieter nutzen, sind entsprechende Vereinbarungen zur Auftragsverarbeitung zwischen Hochschule und Anbieter gemäß Art. 28 DSGVO erforderlich. Soweit beim Einsatz von KI-Detektoren personenbezogene Daten in Länder außerhalb der Europäischen Union übermittelt werden, müssen die Hochschulen beispielsweise durch Standarddatenschutzklauseln der EU-Kommission nach Art. 46 DSGVO sicherstellen, dass das durch die DSGVO gewährleistete Schutzniveau vom Anbieter nicht umgangen wird.
Dem Einsatz von KI-Detektoren an Hochschulen könnte schlussendlich das Verbot der ausschließlich automatisierten Einzelfallentscheidung des Art. 22 Abs. 1 DSGVO entgegenstehen. Bisher lag nach juristischer Auffassung eine verbotene ausschließlich automatisierte Entscheidungsfindung nur dann vor, wenn diese ohne jegliches menschliche Zutun erfolgte. Sofern ein Mensch letztendlich entscheidet, wurden automatisierte Verfahren ohne Einwilligung oder gesetzlichen Erlaubnis als zulässig angesehen. Es bedarf also zusätzlich einer eigenständigen Stellungnahme und Entscheidung von menschlichen Prüfenden.
Nach jüngster Auffassung des EuGH liegt eine ausschließlich automatisierte Datenverarbeitung schon dann vor, wenn diese nicht unwesentlichen Einfluss auf eine spätere menschliche Entscheidung, etwa eines Prüfenden, hat. Dies hat möglicherweise Auswirkung auf Systeme, die mit Hilfe von Algorithmen Entscheidungen vorbereiten oder diese, wie KI fast allein treffen. Die Hamburger Datenschutzbeauftragte hat in diesem Zusammenhang eine weitreichende Auffassung zu KI-Modellen vertreten [7]. Sie sieht generative KI-Modelle grundsätzlich als vom Verbot des Art. 22 Abs. 1 DSGVO erfasst an, da diese Wahrscheinlichkeitswerte zu persönlichen Aspekten natürlicher Personen ermitteln. Nach ihrer Ansicht müssen KI-Systeme daher an Art. 22 Abs. 1 DSGVO gemessen werden, wenn sie sich auf bestimmte persönliche Aspekte einer natürlichen Person beziehen. Dies könnte bedeuten, dass der Einsatz vieler KI-Systeme ohne explizite gesetzliche Rechtsgrundlage, und somit auch der Einsatz von KI-Detektoren zur Überprüfung von Prüfungsleistungen und der anknüpfenden Rechtsfolgen eines Täuschungsversuches, nach Art. 22 Abs. 2 DSGVO unzulässig wäre.

KI-Detektoren sind allein zum Nachweis einer Täuschung aufgrund ihrer derzeitigen Fehlerhaftigkeit nicht geeignet. Es bedarf zusätzlich einer menschlichen Analyse von KI-typischen Merkmalen und einer Stellungnahme der Prüfenden. KI-Detektoren wie KI-Generatoren sind allerdings selbstlernende Systeme und somit eine Weiterentwicklung möglich. Beim Einsatz von KI-Detektoren wird in die Urheberrechte der Prüflinge an der Prüfungsarbeit eingegriffen und es werden personenbezogene Daten des Prüflings automatisiert verarbeitet. Dies bedarf in der Regel einer expliziten Rechtsgrundlage in den Hochschulgesetzen beziehungsweise Prüfungsordnungen.