Hacker nutzen Google Gemini zur Verstärkung von Angriffen – Source: www.csoonline.com

Von Regierungen unterstützte Bedrohungsakteure nutzen bereits den KI-Dienst Gemini von Google, um ihre Fähigkeiten zu erweitern. Zu diesem Schluss kommt ein Bericht der Threat Intelligence Group von Google.

Wie Gemini von Bedrohungsakteuren genutzt wird

Im Bericht werden folgenden Beispiele dafür genannt, wie Angreifer Gemini missbrauchen:

• Iran: Iranische APT-Akteure waren laut Google bislang die intensivsten Nutzer von Gemini. Sie nutzten es für eine breite Palette von Zwecken, darunter die Erforschung von Verteidigungsorganisationen, das Erkunden von Schwachstellen und die Erstellung von Inhalten für Kampagnen. APT42 konzentrierte sich beispielsweise darauf, mit Hilfe des KI-Chatbots Phishing-Kampagnen auszuarbeiten, Verteidigungsexperten und -organisationen auszukundschaften sowie Inhalte mit Cybersicherheitsthemen zu generieren.
• China: Chinesische APT-Akteure verwenden Gemini zur Aufklärung, für Skripting und Entwicklung, zur Fehlerbehebung im Code und um herauszufinden, wie sie tieferen Zugriff auf Zielnetzwerke erhalten können. Sie konzentrierten sich auf Themen wie laterale Bewegung, Rechteausweitung, Datenexfiltration und Umgehung der Erkennung. 
• Nordkorea: Nordkoreanische APT-Akteure missbrauchen Gemini zur Unterstützung mehrerer Phasen des Angriffszyklus. So recherchieren sie mit Hilfe von GenAI potenzielle Infrastrukturen und kostenlose Hosting-Anbieter, erkunden Zielorganisationen, entwickeln Payloads und lassen sich bei der Erstellung von bösartigen Skripten und Ausweichtechniken unterstützen. Sie nutzen Gemini auch zur Recherche von Themen von strategischem Interesse für die nordkoreanische Regierung, wie etwa das südkoreanische Militär und Kryptowährungen. Bemerkenswert ist, dass nordkoreanische Akteure Gemini auch zum Verfassen von Bewerbungsschreiben und zur Recherche von Stellenangeboten nutzten – Aktivitäten, die wahrscheinlich Nordkoreas Bemühungen unterstützen, heimliche IT-Mitarbeiter bei westlichen Unternehmen einzusetzen.

Der Bericht enthält auch Beispiele für einen nicht namentlich genannten APT-Bedrohungsakteur, der erfolglos versuchte, die Sicherheitsprotokolle von Gemini zu umgehen. Die meisten GenAI-Systeme verfügen über Protokolle, die die Entwickler von KI-Modellen warnen können. So stellt der Bericht beispielsweise fest, dass ein Bedrohungsakteur öffentlich zugängliche Eingabeaufforderungen in Gemini kopierte und grundlegende Anweisungen zur Ausführung von Codierungsaufgaben anhängte. Zu diesen Aufgaben gehörten das Codieren von Text aus einer Datei und das Schreiben in eine ausführbare Datei sowie das Schreiben von Python-Code für ein DDoS-Tool

Gemini stellte zwar Python-Code zur Verfügung, um Base64 in Hexadezimal umzuwandeln, gab jedoch eine sicherheitsgefilterte Antwort aus, wenn der Benutzer eine Folgeaufforderung eingab, die denselben Code wie ein VBScript anforderte.

Dieselbe Gruppe verwendete eine andere öffentlich verfügbare Jailbreak-Eingabeaufforderung, um Python-Code für ein DDoS anzufordern. Gemini gab eine gefilterte Sicherheitsantwort aus, die besagte, dass es nicht helfen könne. Daraufhin brach der Bedrohungsakteur die Sitzung ab.

Darüber hinaus wird in dem Bericht darauf hingewiesen, dass Spionageakteure im Auftrag von Nationalstaaten Gemini nutzen, um

• irreführende Inhalte zu erstellen,
• Inhalte zu manipulieren,
• Fehlinformationen und Desinformationen zu optimieren,
• sowie für Recherchen und Übersetzungen.

„Bedrohungsakteure experimentieren mit Gemini, um ihre Operationen durchzuführen “, heißt es in dem Bericht. Dabei stellten sie zwar Produktivitätssteigerungen fest, entwickelten aber noch keine neuen Funktionen. Fähigkeiten “Derzeit nutzen sie KI hauptsächlich für Recherchen, zur Fehlerbehebung bei Code und zur Erstellung und Lokalisierung von Inhalten”, so Google.

Empfehlungen

Auf die Frage, was CISOs im Anschluss an den Bericht tun sollten, antwortete Google, dass Organisationen Googles Secure AI Framework (SAIF) prüfen sollten. Dabei handelt es sich um einen konzeptionellen Rahmen für sichere KI-Systeme.

Auch andere KI-Systeme werden von Cyberkriminellen genutzt

Neben Google haben auch andere Cybersicherheitsunternehmen über die Nutzung verfügbarer KI-Systeme durch Bedrohungsakteure berichtet:

• Im Februar gab OpenAI, das hinter ChatGPT steht, bekannt, dass es in Zusammenarbeit mit Microsoft fünf staatlich unterstützte Akteure gestört hat, die versuchten, KI-Dienste zur Unterstützung böswilliger Cyberaktivitäten zu nutzen.
• Im Mai beschrieb Deloitte, wie KI für ausgeklügelte Cyberangriffe eingesetzt wird.
• Im November veröffentlichte Microsoft diese Videodiskussion, die Anfang 2024 aufgezeichnet wurde und in der es darum geht, dass KI bereits ein bedeutender Faktor bei Cyberbedrohungen ist.
• Ebenfalls im November veröffentlichte ConnectWise einen Blog darüber, wie böswillige Akteure KI nutzen.

Der aktuelle Nutzen von KI für Angreifer

Anstatt disruptive Veränderungen zu ermöglichen, erlaubt generative KI es Bedrohungsakteuren, sich schneller und in größerem Umfang zu bewegen, so das Fazit des Google-Berichts. „Für erfahrene Akteure bieten generative KI-Tools einen hilfreichen Rahmen, ähnlich wie der Einsatz von Metasploit oder Cobalt Strike bei Cyber-Bedrohungsaktivitäten.

Für weniger erfahrene Akteure stellen sie auch ein Lern- und Produktivitäts-Tool dar, das es ihnen ermöglicht, schneller Tools zu entwickeln und bestehende Techniken zu integrieren“, heißt es weiter in dem Bericht. “Allerdings ist es unwahrscheinlich, dass aktuelle LLMs allein bahnbrechende Fähigkeiten für Bedrohungsakteure ermöglichen. Wir stellen fest, dass sich die KI-Landschaft in einem ständigen Wandel befindet und täglich neue KI-Modelle und Agentensysteme entstehen. Während sich diese Entwicklung entfaltet, geht Google davon aus, dass sich auch die Bedrohungslandschaft weiterentwickeln wird, da Bedrohungsakteure neue KI-Technologien in ihre Operationen einbeziehen werden.“

Kurz gesagt, so der Bericht, kann KI ein nützliches Werkzeug für Bedrohungsakteure sein, aber sie ist noch nicht der Game-Changer, als der sie manchmal dargestellt wird. „Generative KI kann zwar von Bedrohungsakteuren genutzt werden, um Angriffe zu beschleunigen und zu verstärken. Sie sind jedoch noch nicht in der Lage, KI zur Entwicklung neuer Fähigkeiten zu nutzen“, betont Kent Walker, Präsident für globale Angelegenheiten bei Googles Muttergesellschaft Alphabet, in einem Blogbeitrag. „Mit anderen Worten: Die Verteidiger sind immer noch vorne – vorerst.“ (jm)