HealthBench: Die medizinischen KI-Benchmark-Scores von OpenAI werden erklärt – und was sie für die klinische KI bedeuten
OpenAI beschreibt HealthBench als „einen neuen Benchmark, der die Fähigkeiten von KI-Systemen für die Gesundheit besser messen soll“. Die Bewertung erfolgt auf Grundlage einer Reihe von mehr als 48.000 Kriterien, die von für das Gespräch relevanten Ärzten verfasst wurden. Diese Gespräche können in eine von sieben Kategorien fallen, die HealthBench definiert hat, von Notfallüberweisungen und Gesundheitsdatenaufgaben bis hin zur Frage nach dem Kontext oder der Identifizierung von Unsicherheiten. Darüber hinaus wird jedes Kriterium anhand von Faktoren wie Genauigkeit, Klarheit und Vollständigkeit weiter bewertet, einschließlich Empfehlungen für die nächstbesten Maßnahmen.
In einem Forschungspapier zur HealthBench-Veröffentlichung berichtet OpenAI von „anfänglich stetigen Fortschritten … und schnelleren jüngsten Verbesserungen“ bei der Modellleistung und -sicherheit.
Die unabhängige Forschung war uneinheitlicher. In einem Artikel heißt es, dass HealthBench „zuverlässig ist und gut mit den Bewertungen von Ärzten übereinstimmt“, weist jedoch darauf hin, dass es an „Echtzeitbewertungen klinischer Interaktionen oder Messungen nachgelagerter klinischer Ergebnisse“ mangelt. In einem zweiten Artikel wird HealthBench als „bedeutender Fortschritt im medizinischen KI-Benchmarking“ beschrieben, es wird jedoch darauf hingewiesen, dass seltene Krankheiten unterrepräsentiert sind und Längsschnitt-Arbeitsabläufe nicht bewertet werden können, was „den Einblick in die Auswirkungen von KI im gesamten Versorgungskontinuum einschränkt“.
Laut Ghane ist es wichtig, sich daran zu erinnern, dass Benchmarks wie HealthBench kein direkter Ersatz für reale Beweise sind. „Die Ergebnisse spiegeln die Leistung in simulierten Umgebungen wider und sollten zusammen mit realen, lokalen Tests, Workflow-Integration und Sicherheit interpretiert werden“, sagt sie. „Gesundheitssysteme sollten sich bei Einsatzentscheidungen nicht ausschließlich auf Benchmarks verlassen; sie sollten eine von vielen Metriken sein, die zur Information über die KI-Beschaffung verwendet werden.“
MEHR LESEN: Nutzen Sie Daten und KI für bessere Gesundheitsergebnisse.
Überlegungen zur Unternehmensbereitstellung: Claude, Gemini und OpenAI
Inzwischen hat jeder der großen LLM-Akteure in den letzten Monaten eine Reihe KI-gestützter Produkte für Krankenhäuser und Gesundheitssysteme auf den Markt gebracht. Jedes Angebot ist ein wenig anders, und es ist wichtig, dass Unternehmen diese Nuance verstehen, wenn sie KI-Tools für Unternehmen bewerten. „Am wichtigsten ist die Leistung einer Lösung bei Ihren individuellen Patienten, der Nutzungskontext, die Daten und die Arbeitsabläufe“, sagt Ghane.
Claude für das Gesundheitswesen. Claude kann auf „Branchenstandardsysteme und Datenbanken“ sowie auf das National Provider Identifier Registry, die ICD-10-Codebasis und Datenbanken zur Abdeckungsbestimmung zurückgreifen. Organisationen können KI-Agenten für die vorherige Autorisierung und den Datenaustausch mit schnellen Interoperabilitätsressourcen im Gesundheitswesen einsetzen, die Möglichkeiten zur Automatisierung einer Reihe von Verwaltungsprozessen bieten.
Zwillinge 3.0. Aashima Gupta, Global Director of Healthcare bei Google Cloud, schlägt in einem LinkedIn-Beitrag vor, dass Geminis Unterscheidungsmerkmal die Multimodalität ist, also die Fähigkeit, „Text, Sprache, Bilder, Wellenformen, Scans, Genomdaten, klinische Richtlinien und Betriebsdaten“ zusammenzuführen. Dies kann zur Unterstützung von Next-Best-Action-Empfehlungen genutzt werden. Gemini 3.0 enthält außerdem KI-Agenten zur Automatisierung von Arbeitsabläufen in Geschäftsanwendungen.
Klicken Sie auf das Banner unten um sich anzumelden HealthTech’s wöchentlicher Newsletter.
