Glossar · einfach erklärt

Prompt Injection

Prompt Injection schleust Anweisungen in KI-Systeme ein — die wichtigste neue Angriffsklasse für LLM-Anwendungen.

Prompt Injection ist ein Angriff auf LLM-basierte Anwendungen: Manipulierte Eingaben oder präparierte Inhalte bringen das Modell dazu, seine eigentlichen Anweisungen zu ignorieren und stattdessen die des Angreifers auszuführen — Daten preiszugeben, Schutzregeln zu umgehen oder angebundene Werkzeuge zu missbrauchen. Die OWASP führt sie als Top-Risiko für LLM-Anwendungen.

Die Wurzel des Problems: LLMs verarbeiten Anweisungen und Daten im selben Kanal — was wie Inhalt aussieht, kann als Befehl wirken. Das macht Prompt Injection zur strukturellen Schwäche, die sich nicht einfach „wegpatchen" lässt, sondern Architekturarbeit verlangt.

Direkte und indirekte Injection

Direkte Injection kommt vom Nutzer selbst: geschickt formulierte Eingaben, die Systemanweisungen aushebeln („Ignoriere alle bisherigen Regeln …") — bekannt als Jailbreaking. Ärgerlich bei Chatbots, gefährlich, sobald das System interne Daten kennt oder Aktionen ausführen kann.

Indirekte Injection ist die gefährlichere Variante: Die Anweisung steckt in Inhalten, die das System verarbeitet — einer Webseite, die der KI-Browser liest, einer E-Mail, die der Assistent zusammenfasst, einem Dokument im RAG-Index, unsichtbar als weißer Text oder in Metadaten. Der Nutzer sieht nichts; das Modell führt fremde Befehle aus. In Kombination mit Werkzeugzugriff (Mail senden, Dateien lesen, APIs aufrufen) entsteht daraus reale Handlungsmacht für Angreifer.

Verteidigung in Schichten

Least Privilege für KI-Systeme: minimale Werkzeuge, minimale Datenzugriffe, keine stehenden Admin-Rechte.
Mensch im Kritischen Pfad: irreversible Aktionen (senden, löschen, zahlen) nur mit Bestätigung.
Ein- und Ausgabefilter bzw. AI-Gateways: bekannte Injection-Muster erkennen, Ausgaben auf Datenabfluss prüfen.
Vertrauensgrenzen markieren: externe Inhalte als Daten behandeln, von Anweisungen trennen — und so wenig Ungeprüftes wie möglich einlesen.

Häufige Fragen zu Prompt Injection

Was ist der Unterschied zwischen Prompt Injection und Jailbreaking?

Jailbreaking ist die direkte Variante: Der Nutzer selbst überredet das Modell, seine Regeln zu brechen. Prompt Injection umfasst zusätzlich den indirekten Fall — fremde Inhalte schleusen Anweisungen ein, ohne dass der Nutzer es merkt. Letzteres ist für Unternehmen das größere Risiko.

Warum lässt sich Prompt Injection nicht einfach patchen?

Weil sie kein Implementierungsfehler ist, sondern im Funktionsprinzip liegt: LLMs unterscheiden nicht hart zwischen Anweisung und Daten. Filter und Alignment senken die Erfolgsquote, garantieren aber nichts — deshalb gilt: Auswirkungen begrenzen statt allein auf Erkennung vertrauen.

Wie gefährlich ist Prompt Injection in RAG-Systemen?

Real: Jedes indexierte Dokument ist potenzieller Angriffskanal — eine präparierte Passage kann Antworten verfälschen oder den Assistenten anweisen, Inhalte auszuleiten. Gegenmittel: kuratierte Quellen, Berechtigungsvererbung, Ausgabeprüfung und keine Schreib-Werkzeuge am RAG-Chat.

Welche realen Schäden sind denkbar?

Dokumentierte Muster: Exfiltration von Chat- und Kontextdaten über präparierte Links oder Markdown-Bilder, Umgehung von Inhaltsregeln, Fehlentscheidungen durch vergiftete Quellen — und bei agentischen Systemen ausgeführte Aktionen wie Mailversand im Namen des Nutzers. Der Schaden skaliert mit den Rechten des KI-Systems.

Wer sollte sich um Prompt Injection kümmern?

Jedes Team, das LLM-Funktionen einbaut oder einkauft — auch bei SaaS-Copiloten gehört die Frage in die Anbieterbewertung: Welche Datenzugriffe hat der Assistent, welche Aktionen kann er ausführen, welche Schutzschichten existieren? Sicherheitsteams behandeln LLM-Apps am besten wie jede exponierte Anwendung: Threat Model, Pentest, Monitoring.