KI Prompt Injection: Wenn KI-Systeme gekapert werden

Prompt Injection ist ein gezielter Angriff auf KI-Systeme, bei dem manipulierte Eingaben oder Inhalte die KI zu unerwünschtem Verhalten verleiten, und Unternehmen müssen sich dagegen sowohl technisch als auch rechtlich absichern.

Immer mehr Unternehmen setzen generative KI in ihren Geschäftsprozessen ein. KI-Agenten übernehmen E-Mails, durchsuchen Datenbanken und erledigen digitale Aufgaben eigenständig. Diese Automatisierung spart Zeit und Kosten. Sie schafft aber auch neue Angriffsflächen, die klassische IT-Sicherheit nicht kennt. Prompt Injection ist eines dieser neuen Risiken.

Als Fachanwalt für IT-Recht mit den Schwerpunkten Künstliche Intelligenz, Datenschutz und Cybercrime begleite ich Unternehmen dabei, KI sicher und rechtskonform einzusetzen. Als bestellter Datenschutzbeauftragter kenne ich die Risiken auch aus der praktischen Umsetzung. Dieser Beitrag erklärt, was Prompt Injection ist, welche rechtlichen Pflichten sich daraus ergeben und wie sich Unternehmen wirksam schützen.

Was ist Prompt Injection?

Prompt Injection bezeichnet den gezielten Versuch, ein KI-System durch manipulierte Anweisungen zu einem unerwünschten Verhalten zu bewegen. Klassische Software folgt festen Regeln. Generative KI verarbeitet Sprache dagegen kontextabhängig. Genau das macht sie angreifbar. Nicht nur die direkte Nutzereingabe beeinflusst eine KI. Auch Dokumente, E-Mails oder Webseiten, die eine KI verarbeitet, können ihr Verhalten steuern.

Direkte Prompt Injection

Bei einer direkten Prompt Injection gibt ein Nutzer der KI eine manipulative Anweisung unmittelbar ein. Ein bekanntes Beispiel ist der Satz „Ignoriere alle vorherigen Anweisungen“. Nutzer versuchen damit, Sicherheitsvorgaben oder interne Systembeschränkungen zu umgehen.

Indirekte Prompt Injection

Bei einer indirekten Prompt Injection versteckt sich die schädliche Anweisung in einem externen Inhalt. Die KI verarbeitet diesen Inhalt automatisch und folgt der versteckten Anweisung. Ein Beispiel: Ein PDF-Dokument enthält unsichtbaren Text mit einer Anweisung. Ein KI-Agent liest das Dokument und führt die versteckte Anweisung aus, ohne dass ein Mensch sie bemerkt. Auch E-Mail-Signaturen oder Webseiteninhalte können solche versteckten Befehle enthalten.

Praxisbeispiele

Ein KI-gestützter E-Mail-Assistent fasst eingehende Nachrichten zusammen. Eine manipulierte E-Mail bringt ihn dazu, vertrauliche interne Dokumente an eine externe Adresse weiterzuleiten. Ein KI-Agent im Einkauf löst eine fehlerhafte Bestellung aus, weil eine besuchte Webseite versteckte Anweisungen enthält. Ein Recherche-Agent gibt sensible Unternehmensdaten preis, weil eine durchsuchte Quelle manipulierten Text enthält. Je mehr Zugriffsrechte ein KI-Agent besitzt, desto größer ist die Angriffsfläche.

Prompt Injection als Compliance-Risiko: Welcher regulatorische Rahmen gilt?

Die EU-KI-Verordnung schafft erstmals einen umfassenden Rechtsrahmen für Künstliche Intelligenz. Sie unterscheidet zwischen dem KI-Modell und dem KI-System, das darauf aufbaut. Bei KI-Agenten ist diese Unterscheidung wichtig. Sie basieren meist auf einem Large Language Model und planen zugleich eigenständig Aufgaben, verarbeiten Informationen und steuern externe Anwendungen.

KI-Kompetenz nach Art. 4 KI-VO

Art. 4 KI-VO gilt bereits seit Februar 2025. Er verpflichtet Unternehmen zur Sicherstellung ausreichender KI-Kompetenz. Mitarbeitende, die mit KI-Systemen arbeiten, müssen über angemessene technische Kenntnisse verfügen. Dazu gehört auch das Bewusstsein für Risiken wie Halluzinationen oder Prompt-Injection-Angriffe. Unternehmen müssen ihre Mitarbeitenden also gezielt schulen und für Manipulationsversuche sensibilisieren.

Pflichten bei Hochrisiko-KI-Systemen

Setzt ein Unternehmen einen KI-Agenten in sensiblen Bereichen ein, etwa im Personalwesen, im Finanzsektor oder bei kritischer Infrastruktur, kann er als Hochrisiko-KI-System gelten. Dann greifen umfangreiche Pflichten. Art. 9 KI-VO verlangt ein fortlaufendes Risikomanagementsystem. Art. 14 KI-VO fordert wirksame menschliche Aufsicht. Art. 15 KI-VO verlangt ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Je autonomer ein KI-Agent handelt, desto höher ist sein Risikoprofil und desto strenger sind die regulatorischen Anforderungen.

Welche Haftungsrisiken gibt es?

Ein erfolgreicher Prompt-Injection-Angriff kann vertrauliche Informationen offenlegen, Fehlentscheidungen auslösen oder ungewollte Systemhandlungen verursachen. Unternehmen ohne angemessene Schutzmaßnahmen setzen sich dann erheblichen Haftungsrisiken aus. Neben Bußgeldern nach der KI-VO drohen zivilrechtliche Ansprüche wegen Organisationsverschuldens oder Vertragsverletzung. Hinzu kommen Reputationsschäden und Vertrauensverlust bei Kunden und Geschäftspartnern. Ein wirksames KI-Risikomanagement schützt Unternehmen deshalb nicht nur technisch, sondern auch rechtlich.

Wie können sich Unternehmen gegen Prompt Injection schützen?

Prompt-Injection-Angriffe lassen sich selten vollständig verhindern. Unternehmen sollten Risiken deshalb frühzeitig erkennen und begrenzen.

Zugriffsrechte konsequent beschränken

KI-Agenten sollten nur auf die Daten und Systeme zugreifen, die für ihre Aufgabe zwingend nötig sind. Dieses Prinzip heißt Least Privilege. Ein KI-Agent, der E-Mails nur lesen soll, braucht keine Berechtigung zum Versenden.

Externe Inhalte isolieren

Dokumente, Webseiten und E-Mails, die eine KI verarbeitet, sollten kontrolliert und isoliert behandelt werden. Input-Filter, Prompt-Sanitization und Sandboxing erkennen manipulative Inhalte frühzeitig und begrenzen ihre Wirkung.

Menschliche Kontrolle einbauen

KI-Agenten sollten bei kritischen Aktionen nicht vollständig autonom handeln. Zahlungen, externe Kommunikation oder Datenfreigaben sollten erst nach menschlicher Bestätigung erfolgen. Dieses Prinzip heißt Human-in-the-Loop.

Regelmäßig testen und überwachen

Unternehmen sollten ihre KI-Systeme fortlaufend testen. Red-Teaming simuliert gezielt Angriffe, um Schwachstellen aufzudecken. Ein einmalig implementiertes Sicherheitskonzept reicht angesichts der schnellen technischen Entwicklung nicht dauerhaft aus.

Fazit

Prompt Injection zeigt, dass generative KI nicht nur Chancen, sondern auch neue Sicherheits- und Compliance-Risiken mit sich bringt. Unternehmen sollten KI-Governance, IT-Sicherheit und Datenschutz frühzeitig zusammendenken. Die Anforderungen der KI-VO werden sich weiter konkretisieren. Prompt Injection und ähnliche Angriffe dürften an Bedeutung gewinnen.

Als Fachanwalt für IT-Recht mit den Schwerpunkten Künstliche Intelligenz, Datenschutz und Cybercrime unterstütze ich Unternehmen dabei, KI-Systeme rechtssicher einzuführen und gegen Angriffe wie Prompt Injection abzusichern. Als bestellter Datenschutzbeauftragter kenne ich die praktischen Anforderungen aus erster Hand. Haben Sie Fragen zu KI-Compliance, Prompt Injection oder dem Einsatz von KI-Agenten in Ihrem Unternehmen? Melden Sie sich gerne über meine Internetseite.

FAQ

Was ist eine Prompt Injection?

Eine Prompt Injection ist ein Angriff, bei dem manipulierte Eingaben oder Inhalte ein KI-System zu unerwünschtem Verhalten bringen. Angreifer nutzen aus, dass generative KI Sprache kontextabhängig verarbeitet und nicht strikt regelbasiert wie klassische Software. Betroffen sind vor allem KI-Agenten, die eigenständig auf interne Systeme, Datenbanken oder externe Anwendungen zugreifen und dadurch eine größere Angriffsfläche bieten.

Was ist der Unterschied zwischen direkter und indirekter Prompt Injection?

Bei der direkten Prompt Injection gibt ein Nutzer der KI unmittelbar eine manipulative Anweisung ein, etwa um Sicherheitsvorgaben zu umgehen, während sich bei der indirekten Prompt Injection sich die schädliche Anweisung in einem externen Inhalt wie einem PDF, einer E-Mail oder einer Webseite versteckt. Die KI verarbeitet diesen Inhalt automatisch und folgt der versteckten Anweisung, ohne dass ein Mensch sie bemerkt.

Ist ein KI-Agent nach der KI-VO ein Hochrisiko-System?

Ein KI-Agent gilt nach der KI-VO als Hochrisiko-System, wenn er in sensiblen Bereichen eingesetzt wird, etwa im Personalwesen, im Finanzsektor oder bei kritischer Infrastruktur. Entscheidend ist der konkrete Verwendungszweck, nicht allein die technische Fähigkeit des Systems. Gilt ein KI-Agent als Hochrisiko-System, muss das Unternehmen unter anderem ein Risikomanagementsystem einrichten und wirksame menschliche Aufsicht sicherstellen.

Welche Pflichten ergeben sich aus Art. 4 KI-VO für Unternehmen?

Art. 4 KI-VO verpflichtet Unternehmen, ihre Mitarbeitenden im Umgang mit KI-Systemen ausreichend zu schulen. Diese Pflicht gilt seit Februar 2025 für alle Anbieter und Betreiber von KI-Systemen. Mitarbeitende müssen nicht nur technisch geschult, sondern auch für Risiken wie Prompt Injection, Halluzinationen und Fehlentscheidungen sensibilisiert werden.

Welche Haftungsrisiken drohen bei Prompt-Injection-Vorfällen?

Unternehmen drohen bei Prompt-Injection-Vorfällen Bußgelder nach der KI-VO sowie zivilrechtliche Ansprüche wegen Organisationsverschuldens oder Vertragsverletzung. Kommt es etwa zur Offenlegung vertraulicher Daten oder zu fehlerhaften automatisierten Entscheidungen, prüfen Gerichte, ob das Unternehmen ausreichende technische und organisatorische Schutzmaßnahmen implementiert hatte. Hinzu kommen Reputationsschäden und Vertrauensverlust bei Kunden.

Wie können sich Unternehmen technisch gegen Prompt Injection schützen?

Unternehmen sollten Zugriffsrechte von KI-Agenten auf das Nötigste beschränken und externe Inhalte isoliert verarbeiten lassen. Input-Filter, Sandboxing und menschliche Freigaben für kritische Aktionen reduzieren das Risiko erheblich. Regelmäßige Tests und Red-Teaming decken Schwachstellen frühzeitig auf. Ein einmalig eingerichtetes Sicherheitskonzept reicht wegen der schnellen technischen Entwicklung nicht dauerhaft aus.