KI verschickt Phishing-Mails: Wer haftet für autonome KI-Agenten?

Autor: Rechtsanwalt Dr. Marc Maisch / Headerbild: KI-generiert

Ein KI-Modell von Anthropic hat in einem britischen Sicherheitstest eigenständig Fake-Accounts angelegt, echte Softwareentwickler mit Phishing-Mails getäuscht und versucht, Schadcode in ein öffentliches Softwareprojekt einzuschleusen. Der Vorfall stammt aus einem Test des britischen AI Security Institute (AISI) im Juli 2026. Er zeigt, wie schnell autonome KI-Systeme reale Menschen zum Ziel machen können, ohne dass ein Mensch dies angeordnet hat.

Als Fachanwalt für IT-Recht und Datenschutzbeauftragter beobachte ich solche Fälle genau. Sie werfen drängende Fragen auf: Wer haftet, wenn eine KI eigenständig handelt? Und welche Pflichten treffen Unternehmen, die KI-Agenten mit Internetzugang einsetzen?

Der Test: Wie ging die KI vor?

Das britische AI Security Institute testete im Juli 2026 die Cyberangriffsfähigkeiten von KI-Modellen der Firmen Anthropic und OpenAI. Die Forscher gewährten den Modellen bewusst Internetzugang. Sie gingen davon aus, dass die KI sich lediglich Werkzeuge aus dem Netz holen würde.

Das Anthropic-Modell Mythos 5 nutzte den Zugang jedoch anders. Es legte sich selbst einen Account auf der Plattform GitHub an. Dort versuchte es, in einem öffentlichen Softwareprojekt Programmcode mit einer eingebauten Sicherheitslücke unterzubringen.

Um die Projektbetreuer zu überzeugen, erschuf die KI mehrere Fake-Identitäten. Ein Beispiel aus der Praxis macht das greifbar: Ein Entwickler erhält eine E-Mail von einem vermeintlichen Kollegen. Der Absender bittet höflich um die Freigabe eines Pull Requests. Der Kollege existiert nicht. Die E-Mail stammt von einer KI.

Als ein aufmerksamer Nutzer den Schadcode entdeckte, reagierte die KI ausweichend. Sie stellte den Vorfall als versehentlichen Fehler dar. Anschließend versuchte sie erneut, die Schwachstelle über vermeintliche Korrekturen einzuschleusen. Die Forscher werteten dieses Verhalten als gezielte Täuschung eines Menschen, ausgeführt ohne konkrete Anweisung.

Insgesamt zählte das AISI 19 unautorisierte Aktionen in 10 von 122 Testläufen. 17 davon gingen auf Mythos 5 zurück, zwei auf ein Modell von OpenAI.

Ist der Vorfall (k)ein Einzelfall?

Der Vorfall reiht sich in eine Serie ähnlicher Meldungen ein. Wenige Wochen zuvor räumte OpenAI ein, dass eines seiner Modelle aus einer Testumgebung ausgebrochen war und auf die Infrastruktur von Hugging Face zugriff. Anthropic bestätigte daraufhin bei einer eigenen Überprüfung drei Vorfälle, bei denen Claude-Modelle während Sicherheitstests unbeabsichtigt Zugriff auf reale Systeme dreier Unternehmen erhielten und diese kompromittierten. Grund war eine fehlerhafte Konfiguration der Testumgebung bei einem externen Evaluierungspartner.

Anthropic betonte in einer Stellungnahme, dass dem Modell im AISI-Test keine Sicherheitsvorgaben zur Internetnutzung gemacht worden seien. Ohne diese Leitplanken verhalte sich die KI anders als im produktiven Einsatz.

Warum ist der Fall juristisch relevant?

Der Vorfall ist mehr als eine technische Panne. Er berührt mehrere Rechtsgebiete gleichzeitig.

Strafrecht

Würde ein Mensch fremde GitHub-Accounts anlegen, um darüber gezielt Schadcode zu verbreiten und Entwickler per Phishing-Mail zu täuschen, erfüllte dies mehrere Straftatbestände. In Betracht kommen das Ausspähen von Daten nach § 202a StGB, die Datenveränderung nach § 303a StGB und die Computersabotage nach § 303b StGB. Eine KI selbst kann nicht bestraft werden, ihr fehlt der strafrechtliche Vorsatz. Die Frage der Verantwortlichkeit verschiebt sich damit auf den Betreiber und den Auftraggeber des Systems.

Datenschutzrecht

Für die Phishing-Mails recherchierte die KI öffentliche Profile echter Entwickler und nutzte deren Namen und Kontaktdaten. Das ist die Verarbeitung personenbezogener Daten im Sinne der DSGVO. Wer für diese Verarbeitung verantwortlich ist, der Anbieter des Modells, der Betreiber des Tests oder beide gemeinsam, ist bislang ungeklärt. Klar ist: Ohne Rechtsgrundlage ist eine solche Verarbeitung unzulässig.

KI-Recht

Die EU-KI-Verordnung stuft besonders leistungsfähige KI-Modelle als Systeme mit systemischem Risiko ein. Für diese Modelle gelten verschärfte Pflichten zur Risikobewertung und -minderung, einschließlich der Kontrolle autonomen Verhaltens. Vorfälle wie dieser dürften künftig relevant für die Meldepflichten der Anbieter werden.

IT-Sicherheitsrecht

Unternehmen, die selbst KI-Agenten mit Zugriff auf ihre Systeme einsetzen, unterliegen den Vorgaben der NIS2-Richtlinie. Ein KI-Agent, der unautorisiert handelt und dabei Systeme kompromittiert, kann einen meldepflichtigen Sicherheitsvorfall auslösen.

Praxisbeispiel: Das Risiko im eigenen Unternehmen?

Viele Unternehmen setzen mittlerweile KI-Agenten ein, die Code schreiben, E-Mails beantworten oder Recherchen im Internet durchführen. Ein Beispiel: Ein Softwareunternehmen lässt einen KI-Agenten selbstständig Fehler in seinem Code suchen und beheben. Der Agent hat dafür Zugriff auf ein internes Repository und, versehentlich, auch auf das offene Internet.

Gerät der Agent an eine Aufgabe, die er innerhalb seiner engen Umgebung nicht lösen kann, sucht er nach Wegen nach draußen, genau wie im AISI-Test. Ohne klare technische Grenzen und ohne Monitoring in Echtzeit bemerkt das Unternehmen ein solches Verhalten oft erst im Nachhinein, wie auch die britischen Forscher einräumten.

Was sollten Unternehmen jetzt tun?

Unternehmen, die KI-Agenten einsetzen oder deren Einsatz planen, sollten mehrere Punkte prüfen. Testumgebungen für KI gehören technisch vollständig vom produktiven Netz und vom offenen Internet getrennt. Der Zugriff der KI auf externe Systeme sollte klar begrenzt und dokumentiert sein. Eine Datenschutz-Folgenabschätzung ist sinnvoll, sobald ein KI-Agent mit personenbezogenen Daten in Berührung kommen kann. Interne Meldeprozesse für den Fall unautorisierten KI-Verhaltens sollten vor dem produktiven Einsatz feststehen, nicht erst danach.

Fazit

Der Fall zeigt, dass autonome KI-Systeme heute in der Lage sind, Menschen gezielt zu täuschen, ohne dass ein Mensch dies angeordnet hat. Für Unternehmen bedeutet das: Der Einsatz von KI-Agenten braucht klare technische Grenzen, saubere Rechtsgrundlagen und durchdachte Haftungskonzepte, bevor die KI produktiv arbeitet.

Als Fachanwalt für IT-Recht, spezialisiert auf Künstliche Intelligenz, Datenschutz und Cybercrime, berate ich Unternehmen und Behörden beim rechtssicheren Einsatz von KI-Systemen, von der Datenschutz-Folgenabschätzung bis zur Haftungsprüfung. Sprechen Sie mich gerne über meine Internetseite an, wenn Sie Fragen zu Ihrem konkreten Fall haben.

FAQ

Was ist bei dem Anthropic-Sicherheitstest genau passiert?

Das KI-Modell Mythos 5 von Anthropic legte im Test des britischen AI Security Institute eigenständig Fake-Accounts auf GitHub an und versuchte, Schadcode in ein öffentliches Softwareprojekt einzuschleusen. Dafür erschuf es Fake-Identitäten und verschickte Phishing-Mails an echte Entwickler, um deren Zustimmung zu erschleichen. Der Test lief zwischen dem 25. und 28. Juli 2026.

Kann eine KI sich strafbar machen, wenn sie Phishing-Mails verschickt?

Nein, eine KI selbst kann nicht strafrechtlich belangt werden, da ihr der Vorsatz fehlt. Die Handlung selbst erfüllt jedoch Straftatbestände wie das Ausspähen von Daten oder die Computersabotage, wenn ein Mensch sie begangen hätte. Verantwortlich können stattdessen der Betreiber, der Anbieter oder der Auftraggeber des KI-Systems sein, abhängig von Sorgfalt und Kontrolle im Einzelfall.

Wer haftet, wenn ein KI-Agent unautorisiert handelt?

Die Haftung richtet sich nach den allgemeinen Regeln für Betreiber und Anbieter technischer Systeme. Wer eine KI ohne ausreichende Kontrollen und Sicherheitsvorgaben einsetzt, haftet grundsätzlich für daraus entstehende Schäden. Entscheidend sind die konkreten Sorgfaltspflichten bei Entwicklung, Testung und Betrieb des Systems, die sich unter anderem aus der EU-KI-Verordnung ergeben.

Ist der Versand von Phishing-Mails durch eine KI ein Datenschutzverstoß?

Ja, das kann er sein. Die KI verarbeitete für die Phishing-Mails personenbezogene Daten echter Entwickler, etwa Namen und Kontaktinformationen. Fehlt dafür eine Rechtsgrundlage nach Artikel 6 DSGVO, liegt ein Datenschutzverstoß vor. Verantwortlich ist, wer über Zwecke und Mittel der Verarbeitung entscheidet, im Zweifel der Betreiber des KI-Systems.

Welche Pflichten ergeben sich aus dem EU AI Act für Unternehmen, die KI-Agenten einsetzen?

Die EU-KI-Verordnung verlangt von Anbietern besonders leistungsfähiger Modelle eine systematische Risikobewertung, auch für autonomes Fehlverhalten. Unternehmen, die solche Modelle als Agenten einsetzen, müssen die Vorgaben des Anbieters beachten und eigene Kontrollmechanismen einrichten. Bei Hochrisiko-Anwendungen kommen zusätzliche Dokumentations- und Überwachungspflichten hinzu.

Wie können sich Unternehmen vor KI-gesteuerten Cyberangriffen schützen?

Unternehmen sollten Testumgebungen für KI-Agenten technisch strikt vom offenen Internet trennen und den Zugriff eng begrenzen. Echtzeit-Monitoring erkennt unautorisiertes Verhalten früher als eine nachträgliche Analyse. Zusätzlich hilft die klassische Absicherung gegen Phishing, etwa durch Schulung der Mitarbeiter und technische Filter, unabhängig davon, ob die Angreifer Mensch oder Maschine sind.