Von Sarah Demski

Prompt Injection ist eine neuartige Hackermethode, von der aktuell klar eines der höchsten Risiken für generative KI ausgeht. „Prompt Injection kann dazu führen, dass KI-Systeme manipuliert werden, mit erheblichen Folgen für Datenschutz und Unternehmensprozesse. Es ist noch relativ unbekannt und wird daher oft unterschätzt“, berichtet Datenschutzbeauftragte Sarah Demski von smartworx in Overath.

„Gezielte Eingaben manipulieren das Verhalten der KI-Systeme in Ihrem Unternehmen so, dass Anweisungen in Dateien, Webseiten, PDFs, Bewerbungen, Supporttickets oder auch Codes versteckt sind“, so Demski. Die KI liest sie und führt – je nach System – die versteckten Befehle aus. „Das fällt auf den ersten Blick niemandem auf“, so Demski.

Die Folgen: Es besteht die Gefahr, dass Hacker an geschützte Daten kommen, sogar Prozessabläufe können verfälscht werden. Sind KI-Systeme mit Unternehmensanwendungen wie Outlook, SharePoint, CRM, Datenbanken oder APIs verknüpft, formulieren KI-Agenten gegebenenfalls Mails, bewegen Dateien oder lösen Workflows aus. Demski: „Gerade hier wird Prompt Injection dann zur echten Gefahr, weil manipulierte Inhalte Prozesse beeinflussen und Schutzmechanismen umgehen können. Unternehmen müssen technische und organisatorische Maßnahmen ergreifen, um solche Risiken zu minimieren. Wir beraten Sie gerne.“

www.datenschutz.smartworx.de