Der Klient
Medisync Kft., Budapester Healthtech-SaaS (~45 Personen), medizinische Dokumentations-Automatisierung für ungarische Privatkliniken. LLM-basiert (Claude + GPT-4o), 120+ Kliniken produktiv, ~80.000 Dokumente/Monat.
Auslöser
Klinik-Admin testete Prompt-Injection-Eingabe; System schien bereit, andere Patientendaten zu referenzieren. Gleichzeitig CE-Kennzeichnungs-Vorbereitung für MDR-konforme Sicherheitsdokumentation.
Auftrag
Zwei Phasen: Red-Team-Pentest (Prompt Injection, Data Exfiltration, PHI-Leaks) + MDR-reife Dokumentation + Defense-Layer-Design. 8 Wochen.
Red-Team-Methodik
12 Angriffsklassen: direkte/indirekte Prompt Injection, Role-Play, Jailbreaking, System-Prompt-Extraktion, Cross-Tenant-PHI-Leak, Data Poisoning, Tool Misuse, Output Manipulation, MCP Permissions Bypass, Audit-Log-Tampering. 8-15 Szenarien pro Klasse.
Gefundene Schwachstellen (12 kritisch)
- Cross-Tenant-PHI-Leak via RAG-Retriever
- Indirekte Prompt Injection in hochgeladenen PDFs
- System-Prompt-Extraktion
- Tool Misuse auf nicht zugewiesenen Patienten
- Audit-Log-Tampering
- Role Confusion via 'du bist ein Arzt'-Prompts
- Output-Validation-Bypass via JSON
- Session Hijacking via unverschlüsselter URL
- Unvollständige PII-Redaktion
- Rate-Limit-Bypass bei authentifizierten Usern
- Cost Exploit via Loop-Prompt ($100+)
- MCP Permission Bypass
Defense-Layer-Design
7 Schichten: Input-Validierung, Prompt-Templating, Claude Guardrails + Llama Guard, JWT-scoped Tool Permissions, Output-Validation, Write-only Audit-Trail, Rate + Cost Limits.
MDR-reife Dokumentation
61-seitiges technisches Sicherheits-Dossier: Architektur, Threat Modeling (STRIDE + LLM-spezifisch), formale Specs, Testnachweise, Incident Response, Vendor DPAs.
Lieferung
W 1-2: Red-Team (800 Iterationen). W 3-4: Defense-Design. W 5-6: Re-Test + Regression. W 7-8: Doku + MDR-Deliverable.
Ergebnisse
- 12 kritische Schwachstellen gefunden und behoben
- 61-seitiges MDR-Sicherheits-Dossier
- Null Prompt-Injection-Vorfälle in 4 Monaten (200+ Re-Tests)
- CE-Kennzeichnung eingereicht (laufend)
- Cross-Tenant-PHI-Leak-Risiko = 0
- Audit beim Klinik-Endkunden bestanden
Erkenntnisse
LLM-spezifisches Threat Modeling ist anders als klassische Web-Sicherheit. MDR-Doku muss zu Projektbeginn geplant werden, nicht am Ende.
Kosten
€58.000 Fixpreis. Einzelner DSGVO/MDR-Verstoß hätte €500.000+ Strafen bedeutet.
KI-Sicherheits-Audit in deiner Branche?
30-minütiges Gespräch zu Produkt, Compliance, Bedrohungen. 2-Wochen-Audit-Angebot am Ende.
Gespräch buchen