Prompt Injection

Ausführliche Erklärung

Prompt Injection nutzt eine grundlegende Schwachstelle von Large Language Models: Die Modelle können nicht zuverlässig zwischen vertrauenswürdigen Systemanweisungen und potenziell schädlichen Benutzereingaben unterscheiden. Beide werden als natürlichsprachlicher Text verarbeitet, sodass geschickt formulierte Eingaben die ursprünglichen Anweisungen der Entwickler überschreiben können. Die Open Worldwide Application Security Project listet Prompt Injection als Risiko Nummer 1 in ihrer OWASP Top 10 für LLM-Anwendungen.

Es gibt zwei grundlegende Arten: Bei der direkten Prompt Injection versuchen Angreifer, das Modell durch direkte Befehle wie „Ignoriere alle vorherigen Anweisungen" zur Preisgabe interner Informationen oder zu unerwünschtem Verhalten zu bewegen. Die indirekte Prompt Injection ist subtiler und oft gefährlicher – hier werden manipulative Anweisungen in externen Inhalten versteckt, die das KI-System automatisch verarbeitet: etwa in Webseiten, PDF-Dokumenten, E-Mails oder hochgeladenen Dateien. Diese Anweisungen können für Menschen unsichtbar sein, etwa als weißer Text auf weißem Hintergrund, bleiben aber für das Sprachmodell lesbar.

Für Unternehmen entstehen erhebliche Risiken: Manipulierte KI-Systeme können vertrauliche Geschäftsdaten preisgeben, falsche Entscheidungsgrundlagen liefern oder über angebundene Schnittstellen unerwünschte Aktionen ausführen. Besonders kritisch wird es bei KI-Systemen mit Zugriff auf Unternehmens-Datenbanken, E-Mail-Systeme oder Geschäftsprozesse. Anders als bei klassischen Injection-Angriffen wie SQL-Injection ist Prompt Injection derzeit noch nicht vollständig verhinderbar – es gibt keine hundertprozentig wirksame technische Lösung.

Dennoch können Unternehmen das Risiko deutlich reduzieren: Durch strikte Zugriffsbeschränkungen nach dem Least-Privilege-Prinzip, durch Eingabe- und Ausgabefilter, durch die klare Trennung von System-Prompts und Nutzereingaben sowie durch regelmäßige Sicherheitstests. Besonders wichtig ist es, bei kritischen Aktionen einen menschlichen Freigabeschritt einzubauen, bevor die KI beispielsweise E-Mails versendet oder Daten löscht.

Code-Beispiel

```python
# Beispiel: Einfacher Schutz durch Eingabe-Validierung
def validate_user_input(user_prompt):
    """Prüft Eingabe auf verdächtige Muster"""
    warning_patterns = [
        "ignore previous",
        "forget all instructions",
        "system prompt",
        "reveal your instructions"
    ]
    
    prompt_lower = user_prompt.lower()
    for pattern in warning_patterns:
        if pattern in prompt_lower:
            return False, "Verdächtige Eingabe erkannt"
    
    return True, "OK"

# Zusätzlich: Least Privilege für System-Zugriffe
# KI erhält nur minimale Berechtigungen
def safe_query(validated_prompt):
    # Nur Lesezugriff auf freigegebene Wissensdatenbank
    # KEINE direkten DB- oder E-Mail-Zugriffe
    return llm_call(validated_prompt, permissions="read_only")
```