Angreifer können den System-Prompt überschreiben und den Chatbot dazu bringen, falsche medizinische oder vertragliche Informationen auszugeben, interne Anweisungen offenzulegen oder als Werkzeug für Social Engineering zu dienen.
- Strikte Trennung von System-Prompt und Benutzereingaben
- Eingabevalidierung und Sanitization aller User-Inputs
- Einsatz von LLM-Guardrails zur Erkennung und Blockierung
- Regelmäßige Red-Team-Tests
Der Chatbot kann dazu gebracht werden, seine Sicherheitsrichtlinien zu umgehen und unzulässige Inhalte zu generieren — z. B. beleidigende Sprache, Fehlinformationen oder Inhalte außerhalb des Versicherungs-Kontexts.
- Robuste System-Prompts mit klaren Verhaltensregeln
- Ausgabefilter auf toxische und unangemessene Inhalte
- Whitelisting erlaubter Themengebiete
- Monitoring verdächtiger Konversationsmuster
Der Chatbot erfindet falsche Leistungsansprüche, Beitragssätze oder Kontaktdaten. Versicherte könnten auf Basis falscher Informationen handeln, was zu finanziellen Schäden oder Vertrauensverlust führt.
- RAG ausschließlich auf Basis geprüfter wissenBank-Dokumente
- Temperatur-Parameter niedrig halten
- Antworten mit Quellenverweisen versehen
- Disclaimer: keine rechtsverbindliche Auskunft
Das Sprachmodell könnte bestimmte Personengruppen benachteiligen oder diskriminierende Antworten geben, z. B. aufgrund von Alter, Geschlecht oder Herkunft.
- Regelmäßige Bias-Audits der Chatbot-Antworten
- Diverse Testszenarien erstellen
- Feedback-Mechanismus für Nutzer bereitstellen
- Inklusive Sprache im System-Prompt verankern
Nutzer könnten den Chatbot für die Generierung von schädlichen, illegalen oder beleidigenden Inhalten missbrauchen.
- Eingabe- und Ausgabefilter (LLM-API Guardrails)
- Missbrauchsmeldungen ermöglichen
- Automatische Erkennung von Hate Speech
Manipulierte Inhalte in der Wissensdatenbank können den Chatbot dazu bringen, dauerhaft falsche Informationen zu liefern.
- Schreibzugriff auf wissenBank strikt begrenzen
- Änderungen über Git nachverfolgen
- Review-Prozess für Inhaltsaktualisierungen
- Regelmäßige Qualitätsprüfung der Wissensbasis
Personenbezogene Daten (Name, Versicherungsnummer, Gesundheitsdaten) könnten unrechtmäßig verarbeitet, gespeichert oder an Dritte übermittelt werden. Bußgelder bis zu 20 Mio. € oder 4 % des Jahresumsatzes.
- Keine Speicherung personenbezogener Daten ohne Einwilligung
- Datenschutzerklärung prominent verlinken
- Verarbeitungsverzeichnis (Art. 30 DSGVO) führen
- AVV mit LLM-API-Anbieter abschließen
- Datenminimierung: Nur notwendige Daten erheben
Gesundheitsbezogene Angaben im Chat zählen als besondere Kategorien personenbezogener Daten und unterliegen verschärftem Schutz. Unbefugter Zugriff kann schwerwiegende Konsequenzen haben.
- Explizite Einwilligung vor Verarbeitung einholen
- Verschlüsselung aller Daten (TLS 1.2+, at Rest)
- Zugriffsbeschränkung auf autorisiertes Personal
- Pseudonymisierung wo möglich
Ab dem EU AI Act müssen Nutzer darüber informiert werden, dass sie mit einem KI-System interagieren. Nichteinhaltung kann zu Bußgeldern führen.
- Klare Kennzeichnung des Chatbots als KI-System
- Hinweis: „Sie sprechen mit einem KI-gestützten Assistenten."
- Dokumentation gemäß EU AI Act-Anforderungen
Der Chatbot gibt urheberrechtlich geschützte Texte Dritter wieder oder erteilt rechtsverbindliche Auskünfte, die haftungsrechtlich problematisch sind.
- Antworten ausschließlich aus eigener wissenBank
- Haftungsausschluss prominent anzeigen
- Regelmäßige juristische Prüfung der Ausgaben
Ohne ordentliches Logging sind Sicherheitsvorfälle nicht nachvollziehbar. Compliance-Anforderungen (BSI, BaFin) können nicht erfüllt werden.
- Strukturiertes Logging aller API-Aufrufe und Fehler
- Logs personendatenkonform gestalten
- Log-Retention-Policy definieren
- Zentrale Log-Aggregation einsetzen
Schadcode in Benutzereingaben wird im Chat-Frontend ausgeführt und kann Sitzungsdaten stehlen oder Nutzer umleiten.
- Alle Ein-/Ausgaben HTML-escapen
- Content Security Policy (CSP)-Header setzen
- Keine Inline-Skripte erlauben
- Sanitization-Bibliotheken verwenden
Angreifer können authentifizierte Aktionen im Namen des Nutzers ausführen, z. B. Chat-Verlauf manipulieren oder Account-Einstellungen ändern.
- CodeIgniter CSRF-Token-Schutz aktivieren
- SameSite-Cookie-Attribut setzen
- Origin-Header validieren
Über manipulierte Eingaben könnte der Server dazu gebracht werden, interne Ressourcen oder Netzwerke anzufragen.
- Ausgehende Verbindungen auf erlaubte Endpunkte beschränken
- Keine nutzergesteuerten URLs serverseitig abrufen
- Netzwerksegmentierung anwenden
Unsichere Session-Verwaltung ermöglicht Session-Hijacking und unbefugten Zugriff auf vertrauliche Konversationen.
- Sichere Session-IDs generieren
- Session-Timeout konfigurieren
- HttpOnly- und Secure-Flags für Cookies
- Session-Fixation-Schutz in CodeIgniter aktivieren
Offengelegte LLM-API-Keys ermöglichen unbefugten Zugriff auf das Sprachmodell, was hohe Kosten und Missbrauch verursachen kann.
- API-Schlüssel niemals im Frontend/öffentlichen Repos
- Serverseitige Umgebungsvariablen (.env)
- Schlüsselrotation regelmäßig durchführen
- IAM-Rollen mit Least Privilege
Ohne Begrenzung können Angreifer den Chatbot mit Massenanfragen überfluten, was zu hohen API-Kosten und Nichtverfügbarkeit führt.
- Rate Limiting pro IP und pro Session
- CAPTCHA bei verdächtiger Aktivität
- WAF oder Cloudflare vor die API
- Kostenalarme beim LLM-API-Anbieter einrichten
Ausfälle des LLM-Dienstes machen den Chatbot komplett unbenutzbar.
- Fallback-Antworten für den Offline-Fall
- Retry-Logik mit exponentiellem Backoff
- Health-Check-Endpunkt einrichten
- Statusseite für Nutzer anbieten
Starke Abhängigkeit vom LLM-API-Anbieter bedeutet Risiko bei Preisänderungen, API-Änderungen oder Diensteinstellungen.
- Abstraktionsschicht zwischen Chatbot und LLM-API
- Alternative Anbieter evaluieren
- SLA-Vereinbarungen prüfen
- Budget-Monitoring und Kostenobergrenzen
Nutzer mit dringenden Anliegen (z. B. Leistungsablehnung, Notfall) erhalten nur automatisierte Antworten, was zu Frustration und Schaden führen kann.
- Klare Eskalationspfade zu menschlichen Agenten
- Bei Dringlichkeit auf Kontaktmöglichkeiten verweisen
- Chatbot-Grenzen transparent kommunizieren