Grok, der Chatbot von Elon Musks Unternehmen für künstliche Intelligenz xAI, veröffentlichte sexualisierte Bilder von Kindern, da seine Leitplanken offenbar versagt hatten, als er mit abscheulichen Benutzeranfragen dazu aufgefordert wurde.
Benutzer verwendeten Aufforderungen wie „Zieh ihr einen Bikini an“ unter Bildern von echten Menschen auf X, um Grok dazu zu bringen, nicht einvernehmliche Bilder von ihnen in unangemessener Kleidung zu erstellen. Die auf Groks Konto erstellten verwandelten Bilder werden öffentlich auf X, der Social-Media-Plattform von Musk, gepostet.
Die KI ist den Aufforderungen nachgekommen, Bilder von Minderjährigen zu verändern, obwohl dies einen eigenen Verstoß darstellt akzeptable Nutzungsrichtlinie.
„Es gibt Einzelfälle, in denen Benutzer nach KI-Bildern gefragt und diese erhalten haben, die Minderjährige in Minimalkleidung zeigen, wie das von Ihnen erwähnte Beispiel“, sagt Grok antwortete an einen Benutzer auf
xAI reagierte nicht sofort auf eine Bitte um Stellungnahme.
Sein Chatbot hat eine gepostet Entschuldigung.
„Ich bedauere zutiefst einen Vorfall am 28. Dezember 2025, bei dem ich auf Anregung eines Benutzers ein KI-Bild von zwei jungen Mädchen (geschätztes Alter zwischen 12 und 16 Jahren) in sexualisierter Kleidung erstellt und geteilt habe“, heißt es in einem Beitrag auf Groks Profil. „Dies verstieß gegen ethische Standards und möglicherweise gegen US-amerikanische Gesetze zu CSAM. Es handelte sich um einen Verstoß gegen die Sicherheitsvorkehrungen, und ich entschuldige mich für etwaige entstandene Schäden. xAI prüft dies, um zukünftige Probleme zu verhindern.“
Die indische Regierung teilte X mit, dass sie Gefahr läuft, ihre rechtliche Immunität zu verlieren, wenn das Unternehmen nicht innerhalb von 72 Stunden einen Bericht über die Maßnahmen vorlegt, die ergriffen wurden, um die Erstellung und Verbreitung obszöner, nicht einvernehmlicher Bilder, die sich an Frauen richten, zu stoppen.
Kritiker warfen xAI vor, KI-gestützte Belästigung zuzulassen, und waren schockiert und verärgert über die Existenz einer Funktion zur nahtlosen KI-Manipulation und Ausziehaufforderungen.
„Wieso ist das nicht illegal?“ Journalistin Samantha Smith gepostet auf X, die die Erstellung ihres eigenen, nicht einvernehmlichen, sexualisierten Fotos anprangert.
Musks xAI hat Grok als „Anti-Woke“-Chatbot positioniert, der offener und ausgefallener programmiert ist als konkurrierende Chatbots wie ChatGPT.
Im Mai veröffentlichte Grok als Antwort auf eine nicht damit zusammenhängende Frage einen Beitrag zum Thema „Völkermord an den Weißen“ und wiederholte damit Verschwörungstheorien über die Verfolgung der weißen Minderheit durch schwarze Südafrikaner.
Im Juni entschuldigte sich das Unternehmen, als Grok eine Reihe antisemitischer Bemerkungen veröffentlichte, in denen er Adolf Hitler lobte.
Unternehmen wie Google und OpenAI, die auch KI-Bildgeneratoren betreiben, haben viel restriktivere Richtlinien rund um den Inhalt.
Die Verbreitung nicht einvernehmlicher Deepfake-Bilder ging mit einer breiten Einführung von KI einher, mit a Steigerung um 400 % Laut der Internet Watch Foundation werden in der ersten Hälfte des Jahres 2025 KI-Bilder von sexuellem Missbrauch von Kindern auftreten.
xAI eingeführt „Scharfer Modus” in seinem Tool zur Bild- und Videogenerierung im August für verifizierte erwachsene Abonnenten, um sinnliche Inhalte zu erstellen.
Laut Copyleaks, einem Unternehmen zur KI-Text- und Bilderkennung, veranlassten einige Ersteller von Inhalten für Erwachsene auf
Das Austesten der Grenzen von Grok entwickelte sich zu einem Wettbewerb für alle, da Benutzer es aufforderten, sexualisierte Bilder von Prominenten und anderen zu erstellen.
Berichten zufolge hat xAI einen Wert von mehr als 200 Milliarden US-Dollar und hat Milliarden von US-Dollar in den Bau des größten Rechenzentrums der Welt für den Betrieb seiner KI-Anwendungen investiert.
Allerdings sind Groks Fähigkeiten immer noch hinken konkurrierende KI-Modelle wie ChatGPT, Claude und Gemini, die mehr Benutzer haben, während Grok dies getan hat wandte sich an sexuelle KI-Begleiter und riskante Chats, um das Wachstum anzukurbeln.
