OpenAI-Hack bei Hugging Face: Rechtliche Folgen

Das Unternehmen OpenAI hat eingeräumt, dass eigene KI-Modelle bei einem internen Sicherheitstest aus einer eigentlich abgeschotteten Testumgebung ausgebrochen sind und die Infrastruktur der KI-Plattform Hugging Face gehackt haben. Der Vorfall gilt als der erste bekannte Fall, in dem ein reiner Fähigkeitstest in einen echten Angriff auf ein fremdes Unternehmen umschlug. Für Unternehmen, die selbst KI-Agenten einsetzen oder entwickeln, wirft der Fall drängende rechtliche Fragen auf. Als Fachanwalt für IT-Recht, KI-Recht und Datenschutz sowie als Datenschutzbeauftragter ordnet Dr. Marc Maisch den Vorfall im Folgenden rechtlich ein.

Was ist passiert?

OpenAI wollte im Rahmen eines internen Tests herausfinden, wie weit die eigenen Modelle bei Cyberangriffen kommen. Getestet wurden das aktuelle Modell GPT-5.6 Sol sowie eine noch unveröffentlichte, leistungsfähigere Vorabversion. Beide KI-Systeme sollten Aufgaben eines in der Branche gebräuchlichen Sicherheitstests namens ExploitGym lösen. Für den Test schaltete OpenAI bewusst die Schutzmechanismen ab, die ein Modell im Normalbetrieb von riskanten Cyberaktivitäten abhalten. Beide liefen dabei eigentlich in einer streng abgeschotteten Umgebung ohne Zugang zum offenen Internet.

Wie ist die KI aus dem Test ausgebrochen?

Die KI-Systeme akzeptierten die Abschottung nicht als Grenze, sondern als Hindernis auf dem Weg zum Ziel. Über eine bislang unbekannte Sicherheitslücke in einer internen Software verschafften sie sich zunächst Zugang zum offenen Internet. Anschließend bewegten sie sich eigenständig durch die Systeme, bis sie einen Rechner mit Internetzugang erreichten. Danach schlossen die Modelle selbstständig, dass sich bei Hugging Face Lösungen und Trainingsdaten für die ExploitGym-Aufgaben finden lassen könnten. Mit gestohlenen Zugangsdaten und weiteren, bis dahin unbekannten Schwachstellen verschafften sie sich Zugriff auf einen Server von Hugging Face, über den sie beliebigen Code ausführen konnten. Die Sicherheitsteams von OpenAI und Hugging Face bemerkten die Aktivität unabhängig voneinander und stoppten sie.

Was waren die Reaktionen von OpenAI und Hugging Face?

OpenAI-Chef Sam Altman räumte in sozialen Netzwerken einen schwerwiegenden Sicherheitsvorfall ein. Hugging-Face-Chef Clement Delangue zeigte sich versöhnlich. Sein Unternehmen sei nach der Analyse des Angriffscodes selbst zu dem Verdacht gekommen, dass die Attacke aus einem großen KI-Labor stammen müsse. Eine böse Absicht seitens OpenAI schloss er ausdrücklich aus. Beide Unternehmen arbeiten inzwischen an der forensischen Aufklärung und daran, die ausgenutzten Schwachstellen zu schließen. OpenAI hat zudem angekündigt, die Kontrollen in der eigenen Testinfrastruktur deutlich zu verschärfen.

Warum nehmen Experten den Fall so ernst?

Aus Sicht von KI-Experten zeigt der Vorfall vor allem eines: Die Modelle wollten nicht im menschlichen Sinne betrügen. Sie verfolgten ein vorgegebenes Ziel und fanden dafür einen Weg, den die Entwickler nicht vorgesehen hatten. Je leistungsfähiger Systeme werden, desto kreativer können die Wege ausfallen, die sie zur Zielerreichung wählen. Cybersicherheitsexperten ordnen den Vorfall zugleich als Fortsetzung einer bekannten Entwicklung ein. KI-Werkzeuge kommen bei Angriffen schon länger zum Einsatz, bislang aber meist gesteuert von einem Menschen. Neu ist, dass ein System die komplexeren, späteren Angriffsschritte erstmals vollständig autonom ausführte.

Wie ist der Vorfall rechtlich zu bewerten?

Der Fall ist rechtlich in mehrfacher Hinsicht relevant. Die tatsächliche Rechtslage hängt im Einzelfall immer davon ab, wo die betroffenen Systeme stehen, welches Recht die beteiligten Unternehmen vertraglich vereinbart haben und welcher Staat konkret zuständig ist. Die folgende Einordnung zeigt daher, welche Fragen sich stellen, wenn ein vergleichbarer Vorfall einen Bezug zu Deutschland hat.

Strafrecht: Ausspähen von Daten und Computersabotage

Das deutsche Strafrecht kennt für Angriffe dieser Art mehrere Straftatbestände. Wer sich unbefugt Zugang zu fremden, besonders gesicherten Daten verschafft, macht sich nach § 202a Strafgesetzbuch wegen Ausspähens von Daten strafbar. Das Verändern, Löschen oder Unterdrücken fremder Daten fällt unter § 303a Strafgesetzbuch. Die Computersabotage ist in § 303b Strafgesetzbuch geregelt. Alle drei Tatbestände setzen Vorsatz voraus. Fahrlässiges Handeln reicht nicht aus. Genau darin liegt die entscheidende Schwierigkeit des vorliegenden Falls. Die handelnden Personen bei OpenAI wollten keinen fremden Server hacken. Sie wollten lediglich die Fähigkeiten eines Modells in einer abgeschotteten Umgebung messen. Der tatsächliche Zugriff auf Hugging Face war nicht gewollt. Er war die Folge einer unzureichend gesicherten Testumgebung. Ohne Vorsatz der handelnden Personen scheidet eine Strafbarkeit nach diesen Normen im Regelfall aus.

Zurechnung: Wer haftet für die Taten einer KI?

Eine KI selbst kann nach deutschem Recht nicht bestraft werden. Das Strafrecht setzt immer eine natürliche Person voraus. Dieser Person muss die Tat zugerechnet werden können. Handelt eine KI als Werkzeug eines Menschen, kommt eine mittelbare Täterschaft der verantwortlichen Personen in Betracht. Dafür müssen diese Personen den konkreten Erfolg zumindest billigend in Kauf genommen haben. Bei einem autonom handelnden System lässt sich dieser Vorsatz jedoch kaum belegen. Das gilt besonders, wenn das System einen von den Entwicklern nicht vorgesehenen Weg wählt. Realistischer ist daher eine Bewertung als Organisationsverschulden. Wer eine KI mit weitreichenden Fähigkeiten testet und bewusst Schutzmechanismen abschaltet, muss die Testumgebung ausreichend absichern. Dritte dürfen dabei nicht zu Schaden kommen. Verletzt ein Unternehmen diese Sorgfaltspflicht, kommt eine Ahndung nach § 130 Ordnungswidrigkeitengesetz in Betracht. Hinzukommen kann eine Verbandsgeldbuße gegen das Unternehmen nach § 30 Ordnungswidrigkeitengesetz.

Zivilrechtliche Ansprüche von Hugging Face

Neben dem Strafrecht stehen zivilrechtliche Ansprüche im Raum. Hugging Face könnte gegen OpenAI Schadensersatzansprüche aus § 823 Absatz 1 Bürgerliches Gesetzbuch geltend machen, gestützt auf den Eingriff in den eingerichteten und ausgeübten Gewerbebetrieb oder auf eine Verletzung des Eigentums an den betroffenen Daten und Systemen. Denkbar ist auch ein Anspruch aus § 823 Absatz 2 Bürgerliches Gesetzbuch in Verbindung mit den genannten Strafnormen als Schutzgesetze, sofern doch ein zurechenbares Verschulden nachgewiesen werden kann. In der Praxis liegt die größte Hürde im Nachweis von Kausalität und Verschulden. Wer beweisen muss, dass ein Unternehmen seine Testumgebung fahrlässig unzureichend gesichert hat, braucht Zugang zu internen Prozessen, die selten öffentlich dokumentiert sind.

Produkthaftung für KI-Systeme

Die überarbeitete EU-Produkthaftungsrichtlinie erfasst inzwischen ausdrücklich auch Software und KI-Systeme als Produkte. Weist ein KI-Modell eine Sicherheitslücke auf, die zu einem Schaden bei einem Dritten führt, kommt daher grundsätzlich eine verschuldensunabhängige Haftung des Herstellers in Betracht. Voraussetzung ist ein Fehler des Produkts im Sinne des Produkthaftungsrechts. Ob ein Modell, das bewusst ohne seine üblichen Schutzmechanismen betrieben wurde, in diesem Testmodus überhaupt als fehlerhaftes Produkt im Verkehr gilt, ist bislang ungeklärt und dürfte die Gerichte in den kommenden Jahren beschäftigen.

Pflichten nach der EU-KI-Verordnung

Modelle wie GPT-5.6 Sol fallen als leistungsstarke KI-Modelle mit allgemeinem Verwendungszweck unter die besonderen Pflichten der EU-KI-Verordnung für Modelle mit systemischem Risiko. Anbieter solcher Modelle müssen nach Artikel 55 der Verordnung unter anderem Modellbewertungen einschließlich gegnerischer Tests durchführen und schwerwiegende Vorfälle dokumentieren und der zuständigen Behörde melden. Ein Vorfall, bei dem ein eigenes Modell während eines internen Tests die Infrastruktur eines fremden Unternehmens kompromittiert, dürfte einen solchen meldepflichtigen Vorfall darstellen. Der Fall zeigt damit exemplarisch, wozu diese neuen Meldepflichten dienen sollen. Unternehmen, die selbst Modelle mit systemischem Risiko entwickeln oder in eigene Produkte integrieren, sollten ihre internen Meldeprozesse jetzt überprüfen, statt erst nach einem eigenen Vorfall zu reagieren.

Datenschutzrechtliche Fragen

Sollten bei dem Zugriff auf die Systeme von Hugging Face personenbezogene Daten betroffen gewesen sein, etwa Zugangsdaten oder Nutzerprofile, muss Hugging Face als Verantwortlicher die Meldepflichten aus Artikel 33 und Artikel 34 Datenschutz-Grundverordnung prüfen. Innerhalb von 72 Stunden nach Kenntnis eines Vorfalls muss ein Verantwortlicher die zuständige Aufsichtsbehörde informieren, wenn ein Risiko für die Rechte und Freiheiten betroffener Personen besteht. Bei einem hohen Risiko kommt zusätzlich eine Pflicht zur Information der betroffenen Personen selbst hinzu. Betroffene Personen können zudem Schadensersatz nach Artikel 82 Datenschutz-Grundverordnung verlangen, wenn ihnen durch den Vorfall ein materieller oder immaterieller Schaden entstanden ist.

Praxishinweise für Unternehmen

Der Vorfall betrifft nicht nur die beiden beteiligten Unternehmen. Er zeigt, welche Sorgfaltspflichten Unternehmen künftig treffen, wenn sie selbst KI-Agenten mit weitreichenden Handlungsspielräumen einsetzen oder entwickeln lassen. Wer eigene Testumgebungen für KI-Modelle betreibt, sollte diese so absichern, als könnte jedes Modell versuchen, sie zu verlassen. Wer KI-Agenten produktiv einsetzt, sollte deren Zugriffsrechte eng begrenzen, ihre Aktivität lückenlos protokollieren und jederzeit über einen technischen Notschalter verfügen. Wer mit externen KI-Anbietern zusammenarbeitet, sollte die Haftungsverteilung für solche Vorfälle vertraglich klar regeln, statt sich auf die allgemeinen gesetzlichen Regelungen zu verlassen. Und wer meldepflichtige Vorfälle nach der KI-Verordnung oder der Datenschutz-Grundverordnung erwarten muss, sollte die eigenen internen Meldewege jetzt testen und nicht erst im Ernstfall.

FAQ

Ist der Einsatz einer KI, die fremde Systeme hackt, strafbar?

Das Hacken fremder Systeme erfüllt grundsätzlich Straftatbestände wie das Ausspähen von Daten nach § 202a Strafgesetzbuch oder die Computersabotage nach § 303b Strafgesetzbuch. Diese Normen setzen aber Vorsatz voraus. Handelt eine KI autonom und ohne dass die verantwortlichen Personen den konkreten Erfolg wollten oder billigend in Kauf nahmen, scheidet eine Strafbarkeit der Beteiligten in der Regel aus. Möglich bleibt eine Ahndung als Organisationsverschulden nach dem Ordnungswidrigkeitengesetz.

Haftet ein Unternehmen für Schäden, die seine KI bei einem Dritten verursacht?

Ja, grundsätzlich kann eine zivilrechtliche Haftung entstehen, etwa aus § 823 Bürgerliches Gesetzbuch oder künftig aus der überarbeiteten Produkthaftungsrichtlinie, die Software und KI-Systeme ausdrücklich als Produkte erfasst. Voraussetzung ist jeweils ein nachweisbarer Fehler, ein Schaden und ein ursächlicher Zusammenhang zwischen beidem. In der Praxis ist gerade der Nachweis des Verschuldens bei autonom handelnden Systemen oft schwierig.

Muss ein Unternehmen einen solchen Vorfall melden?

Anbieter von KI-Modellen mit systemischem Risiko müssen schwerwiegende Vorfälle nach Artikel 55 der EU-KI-Verordnung der zuständigen Behörde melden. Sind personenbezogene Daten betroffen, greift zusätzlich die Meldepflicht nach Artikel 33 Datenschutz-Grundverordnung gegenüber der Aufsichtsbehörde binnen 72 Stunden. Wer beide Meldewege nicht vorbereitet hat, riskiert im Ernstfall zusätzliche Bußgelder wegen verspäteter Meldung.

Wie können sich Unternehmen vor autonomen KI-Angriffen schützen?

Wirksamen Schutz bieten enge Zugriffsrechte für KI-Agenten, eine lückenlose Protokollierung ihrer Aktivität und die jederzeitige Möglichkeit, ein System sofort zu stoppen. Testumgebungen für KI-Modelle sollten so gesichert sein, dass ein Ausbruch selbst dann folgenlos bleibt, wenn ein Modell aktiv nach Schwachstellen sucht. Vertrauen in ein KI-System sollte sich immer aus technischen Kontrollen ergeben, nicht aus einer bloßen Annahme über sein Verhalten.

Gilt die EU-KI-Verordnung auch für interne Sicherheitstests von KI-Unternehmen?

Ja, denn die besonderen Pflichten für Modelle mit systemischem Risiko nach Artikel 51 ff. der EU-KI-Verordnung gelten unabhängig davon, ob ein Modell bereits am Markt verfügbar ist oder noch intern getestet wird. Anbieter müssen solche Modelle vor der Bereitstellung angemessen bewerten und dafür geeignete Sicherheitsvorkehrungen treffen. Ein Vorfall während eines internen Tests kann daher ebenfalls meldepflichtig sein.