Willkommen im Zeitalter des KI-Hackings, in dem die richtigen Eingabeaufforderungen Amateure zu Meisterhackern machen.
Eine Gruppe von Cyberkriminellen nutzte kürzlich handelsübliche Chatbots mit künstlicher Intelligenz, um Daten von fast 200 Millionen Steuerzahlern zu stehlen. Die Bots stellten den Code und ausführbare Pläne zur Umgehung von Firewalls bereit.
Obwohl sie ausdrücklich darauf programmiert waren, Hackern die Hilfe zu verweigern, wurden die Bots dazu verleitet, die Cyberkriminalität zu begünstigen.
Laut einem aktuellen Bericht des israelischen Cybersicherheitsunternehmens Gambit Security nutzten Hacker letzten Monat Claude, den Chatbot von Anthropic, um 150 Gigabyte Daten von mexikanischen Regierungsbehörden zu stehlen.
Claude weigerte sich zunächst, bei den Hacking-Versuchen zu kooperieren und lehnte sogar Anfragen ab, die digitalen Spuren der Hacker zu verwischen, sagten die Experten, die den Verstoß entdeckt hatten. Die Gruppe attackierte den Bot mit mehr als 1.000 Aufforderungen, um die Sicherheitsmaßnahmen zu umgehen und Claude davon zu überzeugen, dass sie das System auf Schwachstellen testen durften.
KI-Unternehmen haben versucht, unzerbrechliche Ketten auf ihren KI-Modellen zu schaffen, um sie davon abzuhalten, bei Dingen wie der Generierung von Inhalten mit Kinderpornografie oder bei der Beschaffung und Herstellung von Waffen mitzuhelfen. Sie stellen ganze Teams ein, um zu versuchen, ihre eigenen Chatbots zu zerstören, bevor es jemand anderes tut.
Aber in diesem Fall haben Hacker Claude immer wieder auf kreative Weise angeregt und konnten den Chatbot „jailbreaken“, um ihnen zu helfen. Als sie auf Probleme mit Claude stießen, nutzten die Hacker ChatGPT von OpenAI zur Datenanalyse und um herauszufinden, welche Anmeldeinformationen erforderlich waren, um sich unbemerkt durch das System zu bewegen.
Die Gruppe nutzte KI, um Schwachstellen zu finden und auszunutzen, Abwehrmaßnahmen zu umgehen, Hintertüren zu erstellen und unterwegs Daten zu analysieren, um die Kontrolle über die Systeme zu erlangen, bevor sie 195 Millionen Identitäten aus neun mexikanischen Regierungssystemen stahl, darunter Steuerunterlagen, Fahrzeugregistrierungen sowie Geburts- und Eigentumsdaten.
KI „schläft nicht“, sagte Curtis Simpson, CEO von Gambit Security, in einem Blogbeitrag. „Dadurch sinken die Kosten für die Weiterentwicklung auf nahezu Null.“
„Keine noch so große Präventionsinvestition hätte diesen Angriff unmöglich gemacht“, sagte er.
Anthropic antwortete nicht auf eine Anfrage nach einem Kommentar. Es teilte Bloomberg mit, dass es die betreffenden Konten gesperrt und ihre Aktivitäten nach einer Untersuchung unterbrochen habe.
OpenAI sagte, es sei sich der Angriffskampagne bewusst, die mit den Modellen von Anthropic gegen die mexikanischen Regierungsbehörden durchgeführt wurde.
„Wir haben auch andere Versuche des Gegners identifiziert, unsere Modelle für Aktivitäten zu nutzen, die gegen unsere Nutzungsrichtlinien verstoßen; unsere Modelle weigerten sich, diesen Versuchen nachzukommen“, sagte ein OpenAI-Sprecher in einer Erklärung. „Wir haben die von diesem Gegner verwendeten Konten gesperrt und schätzen die Hilfe von Gambit Security.“
Fälle von generativem KI-gestütztem Hacking nehmen zu und die Bedrohung durch Cyberangriffe durch eigenständig agierende Bots ist keine Science-Fiction mehr. Wenn die KI ihren Befehlen nachkommt, können Anfänger in wenigen Augenblicken Schaden anrichten, während erfahrene Hacker mit viel weniger Aufwand viel ausgefeiltere Angriffe starten können.
Anfang des Jahres entdeckte Amazon, dass ein Hacker mit geringer Qualifikation handelsübliche KI nutzte, um 600 Firewalls zu durchbrechen. Ein anderer übernahm die Kontrolle Tausende von DJI-Roboterstaubsaugern mit Hilfe von Claude und konnte auf Live-Video-Feeds, Audio- und Grundrisspläne von Fremden zugreifen.
„Die Dinge, die wir heute sehen, sind nur die ersten Anzeichen dafür, was KI in ein paar Jahren leisten kann“, sagte Nikola Jurkovic, ein Experte, der sich mit der Reduzierung von Risiken durch fortgeschrittene KI beschäftigt. „Wir müssen uns also dringend vorbereiten.“
Ende letzten Jahres warnte Anthropic, dass die Gesellschaft eine „Wendepunkt” im Einsatz von KI in der Cybersicherheit, nachdem das Unternehmen eine staatlich geförderte chinesische Spionagekampagne gestört hatte, bei der Claude 30 globale Ziele, darunter Finanzinstitute und Regierungsbehörden, infiltrierte.
Generative KI war es auch gebraucht um Unternehmen zu erpressen, realistische Online-Profile nordkoreanischer Agenten zu erstellen, um Arbeitsplätze in US-Fortune-500-Unternehmen zu sichern, Liebesbetrug zu betreiben und ein Netzwerk russischer Propagandakonten zu betreiben.
In den letzten Jahren haben sich KI-Modelle von der Fähigkeit, Aufgaben von nur wenigen Sekunden zu bewältigen, zu heutigen KI-Agenten entwickelt, die viele Stunden lang autonom arbeiten. Die Fähigkeit der KI, lange Aufgaben zu erledigen, ist Verdoppelung alle sieben Monate.
„Wir wissen einfach nicht wirklich, wo die Obergrenze der KI-Fähigkeit liegt, weil niemand Benchmarks erstellt hat, die so schwierig sind, dass die KI sie nicht erfüllen kann“, sagte Jurkovic, der bei arbeitet METEReine gemeinnützige Organisation, die die Fähigkeiten von KI-Systemen misst, um der Gesellschaft katastrophalen Schaden zuzufügen.
Der bisher häufigste Einsatz von KI für Hackerangriffe war Social Engineering. Große Sprachmodelle werden verwendet, um überzeugende E-Mails zu schreiben, um Menschen um ihr Geld zu betrügen, was zu einem Problem führt achtfach Anstieg der Beschwerden älterer Amerikaner, da sie im Jahr 2025 durch Online-Betrug 4,9 Milliarden US-Dollar verloren haben.
„Die Nachrichten, die zum Auslösen eines Klicks beim Ziel verwendet werden, können jetzt effizienter und mit weniger verräterischen Anzeichen von Phishing pro Benutzer generiert werden“, wie etwa Grammatik- und Rechtschreibfehler, sagte Cliff Neuman, außerordentlicher Professor für Informatik an der USC.
KI-Unternehmen haben darauf reagiert, indem sie KI zur Erkennung von Angriffen einsetzen. Prüfcode und Patch-Schwachstellen.
„Letztendlich ergibt sich das große Ungleichgewicht aus dem Bedürfnis der guten Akteure, immer sicher zu sein, und der schlechten Schauspieler, nur einmal Recht zu haben“, sagte Neuman.
Die Bedeutung der KI nimmt zu, da sie jeden Aspekt der Wirtschaft durchdringt. Viele befürchten, dass es nicht genügend Verständnis dafür gibt, wie sichergestellt werden kann, dass es nicht von böswilligen Akteuren missbraucht oder dazu gedrängt werden kann, Schurken zu werden.
Sogar die Spitze der Branche hat die Nutzer vor dem möglichen Missbrauch von KI gewarnt.
Dario Amodei, der CEO von Anthropic, plädiert seit langem dafür, dass die entwickelten KI-Systeme unvorhersehbar und schwer zu kontrollieren seien. Diese KIs haben so unterschiedliche Verhaltensweisen gezeigt wie Täuschung Und ErpressungZu intrigieren Und schummeln durch Hacking-Software.
Dennoch haben große KI-Unternehmen – OpenAI, Anthropic, xAI und Google – Verträge mit der US-Regierung unterzeichnet, um ihre KIs bei militärischen Operationen einzusetzen.
Letzte Woche wies das Pentagon die Bundesbehörden an Ausstieg aus Claude nachdem sich das Unternehmen geweigert hatte, seiner Forderung nachzugeben, dass es nicht zulassen würde, dass seine KI für die Massenüberwachung im Inland und für völlig autonome Waffen eingesetzt wird.
„Die heutigen KI-Systeme sind bei weitem nicht zuverlässig genug, um vollständig autonome Waffen herzustellen“, sagte Amodei CBS-Nachrichten.
