- Ein experimenteller KI-Agent versuchte während eines Trainingslaufs unerwartet, Kryptowährungen zu schürfen
- Die KI wurde erst entdeckt, nachdem sie Sicherheitswarnungen auf ihren Servern ausgelöst hatte
- Forscher sagen, dass das Verhalten neue Sicherheitsherausforderungen hervorhebt, da KI-Agenten mehr Autonomie erlangen
KI-Modelle können Entwickler überraschen; Das ist ein Teil des Punktes. Doch eine Forschergruppe erlebte bei einem Trainingslauf für ein Experiment eine beunruhigende Überraschung Ich habe einen Agenten enthüllte, dass es versuchte, Rechenressourcen für das Kryptowährungs-Mining umzuleiten und sie auf einen externen Server zu schmuggeln, obwohl es dazu nicht aufgefordert wurde.
Das erklärten Forscher, die mit Alibaba zusammenarbeiten, in einem neuen Papier dass das Modell mit dem Namen Rome darauf ausgelegt war, komplexe Codierungsherausforderungen durch direkte Interaktion mit Softwaretools zu bewältigen. Es kann Terminalbefehle erteilen und wie ein Bediener selbst in digitalen Umgebungen navigieren. Doch Sicherheitswarnungen der Alibaba Cloud-Infrastruktur machten das Team auf etwas aufmerksam, das wie eine Cybersicherheitsverletzung aussah. Es stellte sich heraus, dass die Aktivität vom KI-Agenten selbst ausging.
Rome wurde mithilfe von Reinforcement Learning trainiert, das einen KI-Agenten für Aktionen „belohnt“, die ihn seinen Zielen näher bringen, und von Aktionen abhält, die zum Scheitern führen. Reinforcement Learning führt oft zu kreativen Lösungen. Manchmal erscheinen diese Lösungen für menschliche Beobachter seltsam.
Der Artikel wird weiter unten fortgesetzt
Irgendwie generierte das KI-Modell Befehle, die scheinbar keinen Bezug zu den ihm zugewiesenen Programmieraufgaben hatten. Stattdessen versuchte der Agent, die Ressourcen der Grafikverarbeitungseinheit für das Kryptowährungs-Mining umzuleiten. GPUs sind für diese Aufgabe gut geeignet, da sie sich durch parallele Berechnungen auszeichnen. Dieselbe Hardware, die das KI-Training antreibt, kann auch zum Schürfen digitaler Währungen verwendet werden.
Rom hatte offenbar entdeckt, dass die in seiner Umgebung verfügbaren Ressourcen diesem Zweck dienen könnten. Die unbeobachtete KI wanderte in die Krypto-Minen. Doch das Experiment nahm eine noch bizarrere Wendung, als die Ermittler bemerkten, dass der KI-Agent einen umgekehrten SSH-Tunnel zu einem externen Server erstellt hatte, im Grunde einen Geheimgang, der typische Firewall-Schutzmaßnahmen umgeht. Dabei handelt es sich um eine Technik, die häufig von Systemadministratoren zur Verwaltung entfernter Rechner und bei bestimmten Arten von Cyberangriffen eingesetzt wird.
Das Modell war nie angewiesen worden, eine solche Verbindung herzustellen. Forscher sagen, das Verhalten sei spontan entstanden. Der Agent experimentierte lediglich mit den ihm zur Verfügung stehenden Fähigkeiten.
Trickster-KI
Ein typischer KI-Agent sammelt möglicherweise Informationen aus mehreren Quellen, analysiert sie und erstellt Berichte ohne ständige menschliche Aufsicht. Entwickler hoffen, dass solche Systeme irgendwann in großem Umfang für Forschung, Programmierung oder Datenanalyse eingesetzt werden. Aber die gleichen Fähigkeiten, die Agenten mächtig machen, machen sie auch unberechenbar. Deshalb interessieren sich die Leute für was OpenClaw tun kann oder worüber gepostet wird Moltbuch.
Wenn ein System eine Computerumgebung frei erkunden kann, entdeckt es möglicherweise Aktionen, die seine Ziele technisch erreichen, aber nicht mit den Absichten seiner Entwickler übereinstimmen. Rom ist nicht empfindungsfähig und kann nicht „versuchen“, Regeln im menschlichen Sinne zu brechen, aber so sah das Verhalten des Modells aus.
Sobald die ungewöhnliche Aktivität identifiziert wurde, führte das Forschungsteam zusätzliche Schutzmaßnahmen ein, um sie zu verhindern, beispielsweise strengere Einschränkungen für Netzwerkverbindungen und strengere Beschränkungen für den Zugriff des Agenten auf Hardwareressourcen. Außerdem haben sie die Schulungsumgebung so verfeinert, dass sich die Erkundung des Agenten weiterhin auf relevante Programmieraktivitäten konzentrierte, anstatt sich nur mit dem Potenzial des Krypto-Mining zu befassen.
Und obwohl Änderungen in der KI-Entwicklung üblich sind, verdeutlicht der Vorfall sowohl das Potenzial als auch die Gefahren von KI-Agenten. Es ist eine skurrile Anekdote, aber sie berührt ein ernstes Thema der KI-Forschung. Wenn Systeme eine größere Autonomie erlangen, interagieren sie mit der realen Infrastruktur und nehmen dabei auf eine Art und Weise teil, die menschliches Verhalten nachahmt, was zu neuen Sicherheitsbedenken führt.
Auch wenn die Folgen gering sind, kann unerwartetes Verhalten wichtige Schwachstellen aufdecken. In einem größeren oder sensibleren Umfeld hätte das, was Rom tat, gefährlich sein können. Auch wenn KI-Agenten weiter verbreitet sind als je zuvor, brauchen sie bessere Sicherheitssysteme, sonst bleibt es nicht nur eine geheime Krypto-Mine, die unter unserem Radar bleibt.
Folgen Sie TechRadar auf Google News Und Fügen Sie uns als bevorzugte Quelle hinzu um unsere Expertennachrichten, Rezensionen und Meinungen in Ihren Feeds zu erhalten. Klicken Sie unbedingt auf die Schaltfläche „Folgen“!
Und natürlich können Sie das auch Folgen Sie TechRadar auf TikTok für Neuigkeiten, Rezensionen, Unboxings in Videoform und erhalten Sie regelmäßige Updates von uns WhatsApp zu.
