Kalifornien fügt Leitplanken für KI-gestützte medizinische Chats hinzu

Regulierung des KI-Verhaltens, nicht der KI-Theorie

Die neuen Gesetze SB 243 und AB 489 gehen von einer gemeinsamen Annahme aus: dass KI-Systeme auf Grenzfälle stoßen werden. Experten und Gesetzgeber sehen Funktionsprobleme, die dazu führen, dass Gespräche abdriften und Benutzer emotionale, medizinische oder wichtige Fragen in Kontexte stellen, für die das System nicht entwickelt wurde.

Statische Richtlinien, die Monate zuvor geschrieben wurden, decken nicht jedes Szenario ab. Anstatt also die Konversations-KI zu verbieten, ist Kaliforniens Ansatz pragmatisch. Wenn ein KI-System Entscheidungen beeinflusst oder eine emotionale Beziehung zu Benutzern aufbaut, muss es über Sicherheitsmaßnahmen verfügen, die in der Produktion und nicht nur in der Dokumentation Bestand haben. Und auf diesen Bereich sind viele Organisationen am wenigsten vorbereitet.

AB 489: Wenn KI wie ein Arzt klingt

AB 489 konzentriert sich auf ein anderes Risiko: KI-Systeme, die medizinisches Fachwissen implizieren, ohne es tatsächlich zu haben. Viele Gesundheits- und Wellness-Chatbots behaupten nicht ausdrücklich, Ärzte zu sein. Stattdessen verlassen sie sich auf Ton, Terminologie oder Designmerkmale, die sich klinisch und maßgeblich anfühlen. Für Benutzer sind diese Unterscheidungen oft unsichtbar oder nicht zu entziffern.

Ab dem 1. Januar verbietet AB 489 KI-Systemen die Verwendung von Titeln, Sprache oder anderen Darstellungen, die auf lizenziertes medizinisches Fachwissen schließen lassen, es sei denn, es handelt sich tatsächlich um dieses Fachwissen.

Die Beschreibung von Ergebnissen als „auf Arztebene“ oder „von Ärzten geleitet“ ohne sachliche Untermauerung kann einen Verstoß darstellen. Selbst kleine Hinweise, die Benutzer in die Irre führen könnten, können als Verstöße gewertet werden und die Durchsetzung erstreckt sich auf professionelle Lizenzierungsbehörden. Für Teams, die patientenorientierte oder gesundheitsnahe KI entwickeln, stellt dies eine bekannte technische Herausforderung dar: die Entwicklung von Technologien, die den schmalen Grat zwischen informativ und hilfreich einerseits und autoritär andererseits wandeln. Und jetzt, unter AB 489, ist diese Zeile wichtig.

ENTDECKEN: Hier sind die vier KI-Technologietrends, die Sie im Jahr 2026 im Auge behalten sollten.

SB 243: Wenn ein Chatbot zum Begleiter wird

SB 243, unterzeichnet im Oktober 2025, zielt auf das ab, was der Gesetzgeber „Companion AI“ nennt, also Systeme, die darauf ausgelegt sind, Benutzer im Laufe der Zeit einzubeziehen, anstatt eine einzelne Transaktionsfrage zu beantworten. Diese Systeme können sich beharrlich, reaktionsfähig und emotional abgestimmt anfühlen. Mit der Zeit nehmen Benutzer sie möglicherweise nicht mehr als Werkzeuge wahr und beginnen, sie als Präsenz zu betrachten. Genau dieses Risiko versucht SB 243 anzugehen.

Das Gesetz legt drei Kernerwartungen fest.

Erstens muss die Offenlegung von KI kontinuierlich und nicht kosmetisch erfolgen. Wenn eine vernünftige Person glauben könnte, dass sie mit einem Menschen interagiert, muss das System eindeutig offenlegen, dass es sich um KI handelt, und zwar nicht nur einmal, sondern wiederholt bei längeren Gesprächen. Für Minderjährige geht das Gesetz noch weiter und fordert häufige Erinnerungen und Ermutigungen, Pausen einzulegen, mit dem ausdrücklichen Ziel, das Eintauchen zu unterbrechen, bevor es zur Abhängigkeit wird.

Zweitens geht das Gesetz davon aus, dass einige Gespräche ernst werden. Wenn Benutzer Selbstmordgedanken oder Selbstverletzungsabsichten äußern, wird von den Systemen erwartet, dass sie diese Veränderung erkennen und eingreifen. Das bedeutet, schädliche Gesprächsmuster zu stoppen, vordefinierte Reaktionen auszulösen und Benutzer an reale Krisenhilfe weiterzuleiten. Diese Protokolle müssen dokumentiert, in der Praxis umgesetzt und durch erforderliche Offenlegungen gemeldet werden.

Drittens endet die Verantwortung nicht mit der Markteinführung. Ab 2027 müssen Betreiber berichten, wie oft diese Schutzmaßnahmen ausgelöst werden und wie sie sich in der Praxis auswirken. SB 243 führt außerdem ein privates Klagerecht ein, wodurch die Risiken für Systeme, die unter Druck ausfallen, deutlich steigen.

Die Botschaft dieser Governance ist klar: Gute Absichten reichen nicht aus, wenn die KI im falschen Moment das Falsche sagt.

Klicken Sie auf das Banner unten um sich anzumelden HealthTech’s wöchentlicher Newsletter.