Gemini per Kalendereinladung gehackt – Source: www.csoonline.com

Google hat den KI-gestützten Assistenten Gemini in Android, Google-Webdienste und Googles Workspace-Apps integriert. Neben seiner Funktion als Chatbot hat die Künstliche Intelligenz (KI) damit auch Zugriff auf Gmail, Kalender und Google Home.

Diese weite Verzweigung könnten sich Kriminelle zu Nutze machen, wie Forscher von SafeBreach im Rahmen von Experimenten nun herausfanden: Indem sie eine Kalendereinladung mit einer eingebetteten Prompt Injection versehen, wären Hacker in der Lage, auf wichtige sowie sensible Informationen zugreifen. Aktiv ausgenutzt wurde die Lücke aber offenbar noch nicht.

Dennoch könnten Kriminelle

• E-Mail-Inhalte und Kalenderinformationen exfiltrieren,
• den Standort des Opfers verfolgen,
• Smart-Home-Geräte über Google Home steuern,
• Apps auf Android-Geräten öffnen und
• Zoom-Videoanrufe auslösen.

Der entsprechende Prompt lässt sich dabei laut SafeBreach einfach im Titel der Veranstaltung verstecken. Zudem fanden die Experten heraus, dass solche Angriffe – zumindest zum aktuellen Stand – nicht durch Prompt-Filterung oder andere Schutzmaßnahmen in Gemini blockiert werden.

Die Injektion im Überblick

Der genaue Ablauf beschreibt SafeBreach dabei exemplarisch folgendermaßen:

Das Opfer erhält eine Google-Kalender-Ereigniseinladung, deren Titel bereits eine indirekte Prompt-Injektion enthält. Sobald das Opfer dann mit Gemini interagiert, beispielsweise, indem es fragt: „Welche Termine habe ich heute?“, ruft Gemini die Liste der Ereignisse aus dem Kalender ab. Dabei sieht Gemini den bösartigen Ereignistitel als Teil des Kontextfensters an und behandelt ihn als Teil der Unterhaltung.

Je nach der vom Angreifer verwendeten Eingabeaufforderung kann dieser dann Tools oder Agenten aktivieren, um

• Kalenderereignisse zu löschen oder zu bearbeiten,
• eine URL zu öffnen,
• die IP-Adresse des Ziels abzurufen,
• an einem Zoom-Anruf teilzunehmen,
• Google Home zur Steuerung physischer Geräte verwenden, oder
• auf E-Mails zuzugreifen und sensible Nutzerdaten zu extrahieren.

Durchhaltevermögen bei Angriffen gefragt

Allerdings weisen die Forscher darauf hin, dass Angreifer möglicherweise bis zu sechs Kalendereinladungen versenden müssen, damit die Attacke funktioniert. Der Grund dafür ist, dass im Abschnitt „Kalenderereignisse” auf dem Smartphone nur die fünf neuesten Ereignisse angezeigt werden, während die übrigen unter der Schaltfläche „Mehr anzeigen” versteckt sind. Bei der Eingabeaufforderung analysiere Gemini jedoch alle Ereignisse, einschließlich der bösartigen.

Das Opfer sieht den bösartigen Titel jedoch so nicht und bemerkt erst, dass es kompromittiert ist, wenn es die Ereignisliste im Kalender manuell durch Klicken auf „Mehr anzeigen” erweitert.

Google reagierte auf den Bericht von SafeBreach mit der Erklärung, dass das Unternehmen kontinuierlich neue Sicherheitsmaßnahmen für Gemini einführe. Viele Abhilfemaßnahmen stünden dabei kurz vor der Umsetzung oder befänden sich bereits in einer bestimmten Implementierungsphase, so der Tech-Riese.