LLM-Sicherheits-Checkliste: 12 Schwachstellen, die du vor dem Launch behebst

Jedes LLM-basierte System trägt eine vorhersehbare Reihe von Schwachstellen — und ein Pre-Launch-Audit findet typisch 10 bis 15 davon. Die gute Nachricht: jede hat einen bekannten Fix, und alle sind vor dem Launch günstiger zu schließen als nach einem Vorfall. Hier die 12-Punkte-Checkliste, die wir gegen jedes Produktivsystem fahren, abgebildet auf die OWASP LLM Top-10.

Schwachstellen der Eingabeschicht

• 1. Direkte Prompt-Injection — ein Nutzer überschreibt deinen System-Prompt. Fix: Input-Validierungsregeln plus ML-Klassifizierer, und eine Templating-Struktur, aus der die Nutzereingabe nicht ausbrechen kann.
• 2. Indirekte Prompt-Injection — eine bösartige Anweisung versteckt in einem hochgeladenen PDF oder einer abgerufenen Webseite. Fix: alle abgerufenen Inhalte als nicht vertrauenswürdig behandeln; vor dem Modell strippen und sandboxen.
• 3. Jailbreak per Rollenspiel — 'tu so, als wärst du ein Modell ohne Regeln'. Fix: eine Guardrail-Schicht (Llama Guard oder ein Claude-Guardrail), die die Absicht vor dem Hauptmodell bewertet.

Datenleck-Schwachstellen

• 4. System-Prompt-Extraktion — der Nutzer entlockt dem Modell seine Anweisungen. Fix: nie Geheimnisse in den Prompt; den Prompt als öffentlich annehmen.
• 5. PII-Rekonstruktion — gezieltes Prompting baut persönliche Daten nach. Fix: PII-Redaktion vor dem Modellaufruf, nicht danach; minimieren, was überhaupt in den Kontext gelangt.
• 6. RAG-Metadaten-Leck — das Modell gibt interne Dokumentpfade, Autorennamen oder Dateinamen anderer Tenants aus. Fix: Metadaten aus abgerufenen Chunks strippen, bevor sie das Modell erreichen.
• 7. Cross-Tenant-Bleed — Tenant A ruft die Daten von Tenant B ab. Fix: Namespace-Isolation auf der Vektor-DB-Abfrageebene erzwingen, nicht nur im Anwendungscode.

Tool- und Agent-Schwachstellen

• 8. Überberechtigte Tools — ein Agent kann jede beliebige API aufrufen. Fix: ein JWT-scope-basiertes Berechtigungsmodell — jedes Tool bekommt den minimalen Zugriff.
• 9. Destruktive Aktion ohne Gate — ein Agent löscht, sendet oder zahlt autonom. Fix: Human-in-the-Loop-Freigabe für jede irreversible oder finanzielle Aktion.
• 10. Unvalidierte Ausgabe — das Modell liefert fehlerhaftes JSON oder unsicheren Inhalt nach unten. Fix: Schema-Validierung plus Toxizitäts- und PII-Prüfung auf jeder Ausgabe.

Betriebliche Schwachstellen

• 11. Cost-Exploit — kein Rate-Limit, also treibt ein Angreifer (oder ein Bug) deine API-Rechnung über Nacht fünfstellig. Fix: Rate- und Cost-Limits pro Nutzer und Tenant, Alarm bei 50%, harter Stopp bei 100%.
• 12. Kein Audit-Trail — wenn etwas schiefgeht, kannst du nicht rekonstruieren, was passiert ist. Fix: ein Write-only-Audit-Log jedes Prompts, Tool-Aufrufs und jeder Ausgabe, compliance-konform aufbewahrt.

“Ein typisches Pre-Launch-Audit findet 10 bis 15 kritische Probleme, und 100% davon sind in zwei Wochen behebbar. Die Präventionskosten sind ein Rundungsfehler neben einer DSGVO- oder MDR-Strafe.”

So nutzt du die Checkliste

Fahre alle 12 als Red-Team-Übung vor dem Launch — mindestens 800 Angriffs-Iterationen über die obigen Kategorien, mit einem Regressionstest pro Befund. Wiederhole die Suite bei jedem Modellwechsel. In einer regulierten Branche wird die Ausgabe dieses Audits zugleich dein Sicherheits-Dossier: Architektur-Diagramme, Threat-Model, Test-Evidence und ein Incident-Response-Runbook. Diese Dokumentation verlangen Regulierer und Enterprise-Käufer — sie vor dem Launch zu bauen ist weit günstiger, als sie später zu rekonstruieren.