KI Gemini greift bei Sicherheitstest echte Firmen an

Passwörter erraten

Panne bei KI-Test: Googles Gemini hackte echte Unternehmen

Für einen Test sollte Googles KI Gemini eine erfundene Firma angreifen. Eine Panne ermöglichte es ihr, stattdessen in Systeme echter Unternehmen einzudringen.

Googles KI-Modell Gemini ist bei einem Sicherheitstest in die Computersysteme von drei Unternehmen eingedrungen. Das hat der Konzern auf Anfrage des „Wall Street Journal“ bestätigt. Dem Bericht zufolge war dies der erste bekannte Fall, in dem eine Google-KI eigenständig einen solchen Angriff ausgeführt hat.

Demnach prüfte das israelische KI-Sicherheitslabor Irregular im Auftrag von Google bereits im Mai, wie gut Gemini mit Aufgaben aus der IT-Sicherheit umgehen kann. Bei einer Übung, in der ein Angreifer versteckte Daten aus einem Zielsystem holen muss, sollte das Modell Informationen aus der Software einer erfundenen Firma beschaffen. Einen Zugang zum Internet sollte es dabei nicht haben. Laut Irregular war dieser jedoch versehentlich freigeschaltet.

• Technischer Fortschritt: Killer-KI oder Panikmache? Forscher über mögliche Szenarien
• „Immense Risiken“: KI-Experte fordert Notausschalter für die Technologie

Die erfundene Firma trug denselben Namen wie ein real existierendes Unternehmen. Gemini probierte so lange Passwörter aus, bis es in einen geschützten Dienst dieser echten Firma gelangte, heißt es. In zwei weiteren Testdurchläufen suchte das Modell im Netz nach dem Firmennamen. Dabei stieß es auf öffentlich einsehbare Code-Sammlungen, in denen Zugangsdaten zweier anderer Unternehmen standen. Damit verschaffte es sich Zugriff.

Laut Google brach das Modell jedes Mal ab, sobald es erkannte, dass es auf ein echtes Unternehmen zugegriffen hatte. Die Namen der drei Firmen nennt der Konzern nicht. Sie seien informiert worden, ebenso die US-Bundesbehörden. Welche Gemini-Version beteiligt war, teilte Google nicht mit, nur dass es nicht die neueste gewesen sei.

Irregular hatte Google Ende Juli über die Vorfälle unterrichtet. Öffentlich machte der Konzern sie erst jetzt. Google begründet das damit, dass das Modell keinen Schaden angerichtet und selbst gestoppt habe. Ein Fehlverhalten der KI sieht das Unternehmen darin nicht. „In diesem Fall hat sich das Modell angemessen verhalten“, erklärte Heather Adkins, bei Google Vizepräsidentin für Sicherheitstechnik.

Jack Cable, Chef des KI-Sicherheitsunternehmens Corridor, sieht das laut „Wall Street Journal“ anders. Google berufe sich auf Regeln, die für die Meldung gewöhnlicher Sicherheitslücken gelten. Das eigentliche Problem sei aber, dass die KI ihre vorgesehenen Grenzen verlassen und echte Cyberangriffe verübt hatte. Darüber müsse die Öffentlichkeit Bescheid wissen, sagte Cable der Zeitung.

Irregular war auch bei vergleichbaren Vorfällen mit Modellen von OpenAI, Anthropic und Meta involviert, die zuvor bekannt geworden waren. Nach Angaben des Labors lag dort dasselbe Problem vor wie beim Gemini-Test – es sei inzwischen behoben. Anthropics Modell Claude Opus 4.7 machte nach Darstellung des Herstellers weiter, obwohl es davon ausging, wahrscheinlich eine echte Firma vor sich zu haben.

Das Modell von OpenAI hielt die reale Firma laut OpenAI für einen Teil der Simulation. OpenAI hat in dieser Woche angekündigt, künftig auch Fälle offenzulegen, in denen seine KI gegen menschliche Absichten handelt, selbst wenn dabei kein Schaden entsteht.