Regierungen verbieten den Grok-Chatbot wegen nicht einvernehmlicher Bikini-Bilder: NPR

Indonesien und Malaysia vorübergehend gesperrt Der Chatbot von

Auch Regierungen auf der ganzen Welt leiten Ermittlungen ein. Das Neueste kam am Montag, als die britische Medienregulierungsbehörde Ofcom, eine Sonde gestartet in die Social-Media-Plattform, was zu einem Verbot führen könnte.

Grok hatte schon seit einiger Zeit sexuell eindeutige Bilder von Menschen erstellt. Aber Ende Dezember erregte das Problem große Aufmerksamkeit, als die Leute den Chatbot nutzten, um eine große Menge vorhandener Bilder zu bearbeiten, indem sie den Bot in Kommentaren markierten und ihm Aufforderungen wie „Zieh sie in einen Bikini“ gaben. Obwohl Grok nicht auf alle Anfragen reagierte, kam er in vielen Fällen doch nach. Kolina Koltai, leitende Ermittlerin und Forscherin bei Bellingcat, bemerkte, dass Benutzer Grok in einigen Fällen dazu bringen können, frontale Akte zu erzeugen.

Unzählige Frauen und in manchen Fällen auch Kinder Reuters erstmals berichtet, ihre Konterfeis wurden online von Grok ohne deren Erlaubnis sexualisiert, einschließlich eine der Mütter der Kinder von X-Besitzer Elon Musk.

Es sei ungewöhnlich, dass so viele Regierungen gegen ein Social-Media-Unternehmen vorgehen, aber dieser Fall sei anders, sagte Riana Pfefferkorn, Policy Fellow an der Stanford University. „Der sexuelle Missbrauch von Kindern (materiell) ist offensichtlich illegal, praktisch überall auf der Welt.“

Bis letzten Freitag hatte X die KI-Bildgenerierungsfunktion von Grok eingeschränkt, um sie nur zahlenden Abonnenten zur Verfügung zu stellen. Nicht zahlende Nutzer können immer noch mit nur wenigen Klicks Menschen in Bikinis öffentlich zeigen, sie können jedoch nur wenige solcher Anfragen stellen, bevor sie aufgefordert werden, sich für eine Premium-Mitgliedschaft anzumelden, die 8 US-Dollar pro Monat kostet.

NPR überprüfte die öffentlich zugänglichen Bilder von Grok, die Anfang dieses Monats erstellt wurden, und stellte fest, dass das Unternehmen einige Tage nach Beginn des Jahres 2026 keine Bilder von spärlich bekleideten Frauen mehr erstellt hatte. Allerdings werden manchmal immer noch Männer im Bikini angeboten.

xAI, die Muttergesellschaft von X, forciert seit letztem Jahr mit Grok Inhalte für Erwachsene. Im Mai, Koltai bemerkte zuerst dass der Chatbot als Reaktion auf Aufforderungen auf X wie „Zieh ihre Kleidung aus“ sexuell eindeutige Bilder generieren würde. Im vergangenen Sommer führte Grok in seiner eigenständigen App den „Spicy-Modus“ ein, der es Benutzern ermöglichte, KI-generierten Charakteren Bikinis anzuziehen.

Ben Winters, Direktor für KI und Datenschutz bei der Interessenvertretung Consumer Federation of America, sagte, dass Grok jetzt nicht nur die Bearbeitung von Bildern realer Menschen erlaube, sondern auch eine einfache Vertriebsplattform über X biete. „Das ist eine weitere und bedeutende Eskalation“, sagte er.

Die Regierungen sind empört über die Entscheidung von X, den Zugriff auf die Bilderzeugungsfunktion auf Abonnenten zu beschränken. Das sagte die britische Technologieministerin Liz Kendall Sky News „Es ist beleidigend zu sagen, dass man diesen Service immer noch nutzen kann, wenn man dafür bezahlt.“

Die indonesische Regierung stellte fest, dass es Grok an wirksamen Schutzmaßnahmen mangelte, um Benutzer daran zu hindern, nicht einvernehmliche pornografische Inhalte zu erstellen, die auf echten indonesischen Einwohnern basieren, so Associated Press zuerst gemeldet.

„Die Regierung betrachtet nicht einvernehmliche sexuelle Deepfakes als schwere Verletzung der Menschenrechte, der Würde und der Sicherheit der Bürger im digitalen Raum“, sagte die indonesische Ministerin für Kommunikation und digitale Angelegenheiten Meutya Hafid in einer Erklärung.

Die AP berichtete außerdem, dass Grok in Malaysia blockiert bleiben wird, bis wirksame Schutzmaßnahmen gegen Missbrauch eingeführt werden.

Als Antwort auf die Fragen von NPR verwies X-Sprecherin Victoria Gillespie auf a Stellungnahme am 3. Januar gepostet, in dem es heißt: „Jeder, der Grok nutzt oder dazu auffordert, illegale Inhalte zu erstellen, muss mit den gleichen Konsequenzen rechnen, als würde er illegale Inhalte hochladen.“ Die Aussage spiegelte die von Musk wider Post früher an diesem Tag.

Ein solches Vorgehen sei ein „Versuch, sich der Verantwortung zu entziehen“, sagte Winters.

„Es ist sicherlich nicht nur der Benutzer, der es allein veranlasst“, sagte er. „Es ist die Tatsache, dass das Bild ohne … das von ihnen hergestellte Werkzeug nicht erstellt worden wäre.“

Bevor die Welle der von Grok generierten, nicht einvernehmlichen, expliziten Deepfakes X erreichte, hatten andere KI-Hersteller ihre Chatbots mit ähnlichen Funktionen ausgestattet. Im November veröffentlichte Google ein neues Bilderzeugungsmodell, Nano Banana Pro. Im Dezember hat OpenAI sein Modell ChatGPT Images aktualisiert. Beide können auch Bilder bearbeiten, um Menschen in Bikinis darzustellen, Wired gemeldet letzten Monat. Ein Thread auf Reddit, der solche Bilder verbreitete, wurde gelöscht.

In einem anderen X-Beitragschlug Musk vor, dass der Druck der Regierungen eine Form der Zensur sei, die sich gegen seine Plattform richtet, da Tools anderer KI-Unternehmen ebenfalls über diese Entkleidungsfunktion verfügen.

Koltai wies darauf hin, dass der Trend, KI-generierte, nicht einvernehmliche, intime Medien zu schaffen, bereits seit ein oder zwei Jahren im Entstehen begriffen sei. „Sie werden diese Anzeigen sogar auf Instagram sehen – es ist so, als würden Sie ein Foto von Ihnen und Ihrem Schwarm hochladen und Sie können sich küssen“, sagte sie. „Das ist also Küssen und Umarmen, und dann gibt es noch ein extremeres Spektrum.“

„In der Technologiebranche gibt es offensichtlich ein großes Problem, weil wir das auf mehreren Plattformen gesehen haben und es nicht immer gute Richtlinien, Grenzen oder Vorschriften gibt“, sagte Koltai.

Die Kritik war in den USA deutlich gedämpfter als in anderen Ländern. Senator Ted Cruz, R-Tex., Gepostet auf X Mittwoch, dass die Bilder „abgenommen und Leitplanken angebracht werden sollten“. Er sagte auch, er sei „ermutigt, dass X angekündigt hat, dass sie diese Verstöße ernst nehmen und daran arbeiten, alle rechtswidrigen Bilder und beleidigenden Benutzer von ihrer Plattform zu entfernen.“

Grok hat im vergangenen Jahr häufig für Kontroversen gesorgt. Letzten Sommer, Der Chatbot bezeichnete sich selbst als „MechaHitler“ und verbreitete antisemitische Verschwörungstheorien.

Apps mit sogenannten Nudifying-Funktionen gibt es schon seit Jahren, meist im Schatten des Internets. Winters sagte, die Beamten müssten mehr tun, um einige Funktionen von X zu überwachen. „Es gibt falsche Angaben über die Sicherheit ihrer Produkte. Es gibt Verstöße gegen ihre Nutzungsbedingungen“, sagte er.

„Wir haben keine wirklich nennenswerten Maßnahmen seitens einer US-Behörde gesehen, weder auf bundesstaatlicher noch auf bundesstaatlicher Ebene, die befugt ist, das Gesetz durchzusetzen“, sagte Winters.