PENETRATIONSTESTS FÜR LLM-ANWENDUNGEN
Penetrationstests für LLM-Anwendungen: so verhindern Sie, dass Ihr KI-Assistent gekapert wird
Tests von LLM-basierten Anwendungen nach den OWASP Top 10 for LLM. Prompt Injection, Datenpreisgabe, übermäßige Agentenrechte und die Sicherheit von Tool-Integrationen.
WARUM ES WICHTIG IST
Das Modell unterscheidet Anweisungen nicht von Daten, und Sie haben ihm Zugriff gegeben
LLM-basierte Anwendungen verbinden das Modell mit Ihren Daten, Tools und Aktionen. Das Problem: Das Modell behandelt den verarbeiteten Inhalt als potenzielle Anweisung. Text aus einem Dokument, einer E-Mail oder einer Webseite kann den Assistenten übernehmen.
Aus einem aktuellen Projekt: In einer RAG-Anwendung enthielt ein vom Nutzer hochgeladenes Dokument eine versteckte Anweisung, die den Assistenten den Kontext eines anderen Nutzers preisgeben ließ. Das ist indirekte Prompt Injection, eine Angriffsklasse, die ein traditioneller App-Test gar nicht abdeckt.
WAS WIR PRÜFEN
Die vollständigen OWASP Top 10 for LLM
Den Umfang passen wir an die Architektur an: reiner Chat, RAG oder ein Agent mit Tool-Zugriff.
UNSER ANSATZ
Wir greifen nicht nur das Modell an, sondern die ganze Anwendung darum herum
LLM-Anwendungssicherheit ist nicht nur das Modell selbst. Entscheidend ist, auf welche Daten und Tools es zugreifen kann, wie die Eingabe gefiltert wird und was die App mit der Antwort tut. Wir testen diese ganze Kette, nicht nur einzelne Prompts.
Wir kombinieren LLM-spezifische Techniken mit einem klassischen Test der App und API rund um das Modell. Genau an der Nahtstelle zwischen Modell und restlichem System entstehen die gefährlichsten Schwachstellen, etwa ein Agent, der auf eine in Daten versteckte Anweisung eine gefährliche Aktion ausführt.
COMPLIANCE
KI-Sicherheit kommt in die Regulierung
KI-Einsätze unterliegen wachsenden Anforderungen an Sicherheit und Risikomanagement, einschließlich des AI Act.
STANDARDS & ZERTIFIZIERUNGEN
Wir arbeiten nach anerkannten Methodiken, nicht nach Bauchgefühl
Jedes Projekt wird von zertifizierten Pentestern durchgeführt und basiert auf öffentlichen Standards. So ist das Ergebnis wiederholbar, auditierbar und zwischen Anbietern vergleichbar.
Die vollständige Liste der Zertifizierungen und Standards stellen wir auf Anfrage bereit, zusammen mit einem Beispiel-Testumfang.
SO GEHEN WIR VOR
Ein wiederholbarer Prozess für KI-Anwendungen
NACHWEISE
Zahlen hinter jedem Versprechen
Jeder Test wird von zertifizierten Pentestern durchgeführt, und wir dokumentieren das Ergebnis mit Reproduktionsschritten, Nachweisen und einem verifizierten Behebungsweg. Nachweis, kein Versprechen.
WISSEN
Sicherheitstests für LLM-Anwendungen in der Praxis
Warum Apps mit Sprachmodell einen neuen Ansatz brauchen
Eine Anwendung mit Sprachmodell nimmt den Text des Nutzers als Anweisung, daher verschwimmt die Grenze zwischen Daten und Befehl. Wir testen sie nach den OWASP Top 10 für LLMs und decken sowohl das Modell selbst als auch seine Integrationen mit Daten und Werkzeugen ab.
Ein klassischer Scanner reicht hier nicht, denn das Risiko liegt nicht in einer einzelnen Anfrage, sondern darin, wie das Modell Inhalte interpretiert. Daher arbeiten wir Szenarien durch, in denen ein Angreifer versucht, das Verhalten der Anwendung zu übernehmen.
Prompt Injection und Datenabfluss
Die wichtigste Risikoklasse ist Prompt Injection: direkt, wenn der Nutzer die Anweisung offen manipuliert, und indirekt, wenn sich eine bösartige Anweisung in den vom Modell abgerufenen Daten verbirgt. Wir prüfen, ob sich so Regeln umgehen oder der verborgene System-Prompt extrahieren lässt.
Wir testen auch den Datenabfluss: ob das Modell Inhalte preisgibt, auf die der Nutzer keinen Zugriff haben sollte, einschließlich Daten anderer Nutzer oder Informationen aus der Wissensbasis. Das ist häufig die Folge eines übermäßigen Vertrauens in das, was das Modell im Kontext erhält.
Übermäßige Handlungsmacht von Agenten und Integrationen
Wenn das Modell Werkzeuge aufrufen, Abfragen senden oder Aktionen auslösen kann, entsteht das Risiko übermäßiger Handlungsmacht. Wir prüfen, ob sich die Anwendung zu einer Operation zwingen lässt, die der Nutzer nicht ausführen können sollte, und ob die Modellausgabe sicher verarbeitet wird.
Eine unsichere Verarbeitung der Modellantwort, etwa ihre Ausführung als Code oder Abfrage, kann eine Schwachstelle in eine vollständige Übernahme verwandeln. Deshalb betrachten wir nicht nur das Modell, sondern die gesamte Kette darum herum.
Was Sie erhalten und wann Sie testen sollten
Der Bericht beschreibt jedes Angriffsszenario mit Nachweis und konkreter Geschäftsauswirkung, samt Empfehlungen zu System-Prompt, Validierung, minimalen Rechten und Datenfilterung. Wir übersetzen das Risiko in die Sprache von Entscheidungen, nicht nur der Technik.
Eine LLM-Anwendung sollten Sie testen, bevor die Funktion die Nutzer erreicht, und nach jeder Änderung an Modell, System-Prompt oder Integrationen. Jede davon kann einen neuen Weg zum Missbrauch öffnen.
FAQ
Die häufigsten Fragen
Testen Sie das Modell oder die Anwendung?
Decken Sie Agenten und RAG ab?
Ersetzt das einen API-Test?
Ist der Retest inklusive?
VERWANDT
Verwandte Beiträge
REFERENZEN
Referenzen in diesem Bereich
REFERENZEN
“Das Projekt wurde professionell und termingerecht umgesetzt, mit gutem Verständnis für Technik und Geschäft. Ihre Cybersicherheits-Expertise und der partnerschaftliche Ansatz haben uns beeindruckt.”
