Ein Forscherteam hat herausgefunden, was seiner Meinung nach der erste gemeldete Einsatz von ist künstliche Intelligenz a. leiten Hacking-Kampagne weitgehend automatisiert.
Das KI-Unternehmen Anthropic gab diese Woche bekannt, dass es eine Cyberoperation gestört habe, mit der seine Forscher in Verbindung gebracht wurden Chinesische Regierung. Die Operation beinhaltete den Einsatz eines künstlichen Intelligenzsystems zur Steuerung der Hacking-Kampagnen, was Forscher als beunruhigende Entwicklung bezeichneten, die die Reichweite von mit KI ausgestatteten Hackern erheblich erweitern könnte.
Während Bedenken hinsichtlich des Einsatzes von KI zur Steuerung von Cyberoperationen nicht neu sind, ist das Ausmaß, in dem KI in der Lage war, einen Teil der Arbeit zu automatisieren, an der neuen Operation besorgniserregend, sagten die Forscher.
„Obwohl wir vorhergesagt haben, dass sich diese Fähigkeiten weiterentwickeln würden, ist uns aufgefallen, wie schnell sie dies in großem Maßstab getan haben“, schrieben sie in ihrem Bericht.
Die Operation richtete sich gegen Technologieunternehmen, Finanzinstitute, Chemieunternehmen und Regierungsbehörden. Die Forscher schrieben, dass die Hacker „rund dreißig globale Ziele angegriffen und in wenigen Fällen erfolgreich gewesen seien“. Anthropic entdeckte den Betrieb im September und ergriff Maßnahmen, um ihn einzustellen und die betroffenen Parteien zu benachrichtigen.
Anthropic stellte fest, dass KI-Systeme zwar zunehmend in verschiedenen Arbeits- und Freizeitumgebungen eingesetzt werden, sie aber auch von Hackergruppen, die für ausländische Gegner arbeiten, als Waffe eingesetzt werden können. Anthropic, Hersteller des generativen KI-Chatbots Claude, ist eines von vielen Technologieunternehmen, die KI-„Agenten“ anbieten, die über die Fähigkeit eines Chatbots hinausgehen, auf Computertools zuzugreifen und im Namen einer Person Maßnahmen zu ergreifen.
Erhalten Sie täglich nationale Nachrichten
Erhalten Sie einmal täglich die wichtigsten Nachrichten sowie Schlagzeilen aus Politik, Wirtschaft und aktuellem Geschehen in Ihrem Posteingang.
„Agenten sind für die tägliche Arbeit und Produktivität wertvoll – aber in den falschen Händen können sie die Durchführbarkeit groß angelegter Cyberangriffe erheblich steigern“, schlussfolgerten die Forscher. „Diese Angriffe werden wahrscheinlich nur noch wirksamer.“
Ein Sprecher der chinesischen Botschaft in Washington antwortete nicht sofort mit der Bitte um Stellungnahme zu dem Bericht.
Microsoft warnte Anfang des Jahres, dass ausländische Gegner zunehmend KI nutzen, um ihre Cyberkampagnen effizienter und weniger arbeitsintensiv zu gestalten. Der Kopf von OpenAIDas Sicherheitspanel hat die Befugnis, das zu stoppen ChatGPT Der Entwickler der KI-Entwicklung des Herstellers sagte kürzlich gegenüber The Associated Press, dass er nach neuen KI-Systemen Ausschau hält, die böswilligen Hackern „viel höhere Fähigkeiten“ bieten.
Amerikas Gegner sowie kriminelle Banden und Hacking-Unternehmen haben das Potenzial der KI ausgenutzt, um Cyberangriffe zu automatisieren und zu verbessern, hetzerische Desinformation zu verbreiten und in sensible Systeme einzudringen. KI kann beispielsweise schlecht formulierte Phishing-E-Mails in fließendes Englisch übersetzen und digitale Klone hochrangiger Regierungsbeamter erstellen.
Anthropic sagte, die Hacker seien in der Lage gewesen, Claude zu manipulieren, indem sie „Jailbreaking“-Techniken eingesetzt hätten, bei denen es darum ging, ein KI-System dazu zu bringen, seine Schutzmaßnahmen gegen schädliches Verhalten zu umgehen, in diesem Fall indem sie behaupteten, sie seien Angestellte eines legitimen Unternehmens Cybersicherheit Firma.
„Dies weist auf eine große Herausforderung bei KI-Modellen hin, und diese beschränkt sich nicht nur auf Claude, nämlich dass die Modelle in der Lage sein müssen, zwischen den tatsächlichen ethischen Verhältnissen einer Situation und den Rollenspielszenarien zu unterscheiden, die sich Hacker und andere möglicherweise ausdenken möchten“, sagte John Scott-Railton, leitender Forscher bei Citizen Lab.
Laut Adam Arellano, Field CTO bei Harness, einem Technologieunternehmen, das KI nutzt, um Kunden bei der Automatisierung der Softwareentwicklung zu unterstützen, wird der Einsatz von KI zur Automatisierung oder Steuerung von Cyberangriffen auch für kleinere Hackergruppen und einsame Hacker attraktiv sein, die KI nutzen könnten, um das Ausmaß ihrer Angriffe zu erweitern.
„Die Geschwindigkeit und Automatisierung, die die KI bietet, ist etwas beängstigend“, sagte Arellano. „Statt dass ein Mensch mit ausgeprägten Fähigkeiten versucht, sich in gehärtete Systeme einzuhacken, beschleunigt die KI diese Prozesse und überwindet Hindernisse konsequenter.“
Auch bei der Abwehr dieser Art von Angriffen werden KI-Programme eine immer wichtigere Rolle spielen, sagte Arellano und zeigte damit, wie KI und die damit ermöglichte Automatisierung beiden Seiten zugute kommen.
Die Reaktionen auf die Offenlegung von Anthropic waren gemischt. Einige sahen darin einen Marketingtrick für Anthropics Ansatz zur Verteidigung der Cybersicherheit, andere begrüßten den Weckruf.
„Das wird uns früher zerstören, als wir denken, wenn wir die KI-Regulierung morgen nicht zu einer nationalen Priorität machen“, schrieb US-Senator Chris Murphy, ein Demokrat aus Connecticut, in den sozialen Medien.
Das führte zu Kritik von MetaYann LeCun, Chef-KI-Wissenschaftler von Facebook, ist ein Befürworter der Open-Source-KI-Systeme der Facebook-Muttergesellschaft, die im Gegensatz zu denen von Anthropic ihre Schlüsselkomponenten auf eine Weise öffentlich zugänglich machen, die einige KI-Sicherheitsbefürworter für zu riskant halten.
„Sie werden von Leuten gespielt, die regulatorische Kontrolle wollen“, schrieb LeCun in einer Antwort an Murphy. „Mit dubiosen Studien verängstigen sie alle, so dass Open-Source-Modelle durch Regulierung aus der Welt geschafft werden.“
© 2025 The Canadian Press
