Start Nachrichten Das Seattler Startup Glacis holt den langjährigen Microsoft-Führer an Bord, um den...

Das Seattler Startup Glacis holt den langjährigen Microsoft-Führer an Bord, um den größten blinden Fleck der KI zu bekämpfen – GeekWire

4
0
Das Seattler Startup Glacis holt den langjährigen Microsoft-Führer an Bord, um den größten blinden Fleck der KI zu bekämpfen – GeekWire

Rohit Tatachar, CTO und Mitbegründer von Glacis.

Als erfahrener Ingenieur und Produktführer bei Microsoft Azure, Rohit Tatachar sah, dass viele Unternehmen KI-Systeme bauten, die sie in der Produktion nicht vollständig überwachen oder steuern konnten.

In seiner neuen Rolle bei einem Startup in Seattle unternimmt er etwas dagegen.

Tatachar ist jetzt Mitbegründer und CTO von Glacisdas manipulationssichere Aufzeichnungen des KI-Verhaltens erstellt – was CEO Joe Braidwood als „Flugschreiber für Unternehmens-KI“ bezeichnet hat. Seine Ankunft erfolgt, als Glacis neue Open-Source-Tools zur Überwachung und Steuerung von KI-Agenten auf den Markt bringt.

Zuerst Glacis abgedeckt durch GeekWire im November 2025 wurde von Braidwood und Dr. Jennifer Shannon, einer Psychiaterin und außerordentlichen Professorin an der University of Washington, ins Leben gerufen.

Das Unternehmen entstand aus einer schwierigen Lektion: Braidwoods vorheriges Startup, Kinderein KI-gestütztes Tool für die psychische Gesundheit, musste abgeschaltet werden, nachdem ihm klar wurde, dass die Modelle während längerer Gespräche mit gefährdeten Benutzern von ihrem beabsichtigten Verhalten abwichen.

Nachdem er auf LinkedIn über den Shutdown geschrieben hatte, äußerten Aufsichtsbehörden, Kliniker, Ingenieure und Versicherungsmanager die gleiche Beobachtung: Wenn KI-Systeme Entscheidungen treffen, kann niemand unabhängig überprüfen, ob die Sicherheitskontrollen tatsächlich funktionierten.

Das war der Funke für Glacis.

So funktioniert es: Das Kernprodukt des Startups namens Arbiter liegt im Pfad jedes KI-Inferenzaufrufs und erstellt eine signierte Aufzeichnung der Eingabe, der durchgeführten Sicherheitsüberprüfungen und der endgültigen Ausgabe.

Der Datensatz kann nachträglich nicht mehr geändert werden. Im großen Stil beglaubigt ein System, das Glacis Witness Network nennt, diese Aufzeichnungen in einem überprüfbaren Protokoll.

Kunden können wählen, ob sie das System im „Schattenmodus“ betreiben möchten, also beobachtend, ohne einzugreifen, oder im Durchsetzungsmodus, wo es das Verhalten der KI aktiv einschränkt.

Glacis-Mitbegründer Joe Braidwood (links) und Jennifer Shannon. (Glacis-Foto)

Shannon, Chief Medical Officer von Glacis, sagte, dass im Gesundheitswesen besonders viel auf dem Spiel stehe. Als praktizierende Kinderpsychiaterin hat sie gesehen, wie KI-gestützte Umgebungsschreiber Inhalte in ihren klinischen Notizen halluzinierten, darunter auch erfundene Medikamentenrezepte, die sie nie gemacht hatte.

„Ich würde gerne zurückgehen und jeden Schritt sehen, wie dieses KI-Modell diese Entscheidung getroffen hat“, sagte sie. „Wenn es dafür keine Infrastruktur gibt, wer haftet dann? Niemand wird die KI verklagen. Das bin ich.“

Die zugrunde liegende Herausforderung: Tatachar arbeitete fast 19 Jahre lang in zwei Stationen bei Microsoft, zuletzt als Hauptproduktmanager im Microsoft Foundry-Team, der Plattform für die Entwicklung und Bereitstellung von KI-Anwendungen und -Agenten für Unternehmen.

Er sagte, er habe gesehen, wie Unternehmen Tools entwickelten und Proofs of Concept durchführten, aber Schwierigkeiten hätten, KI in die Produktion zu bringen, weil sie nicht erklären oder überprüfen konnten, was ihre Systeme machten.

Er sagte, das Problem habe drei Dimensionen: den Grundzustand der Infrastruktur eines Kunden, das Modellverhalten und die sogenannte „Intent Drift“, bei der sich ein System anders verhält als vom Kunden beabsichtigt, selbst wenn das zugrunde liegende Modell normal funktioniert.

Glacis überwacht die Bereitstellungen in allen drei Bereichen. „Nur wenn man diese drei Punkte zusammenbringt, erhält ein Kunde einen echten Überblick darüber, was tatsächlich passiert ist“, sagte Tatachar.

Neuerscheinungen: Glacis lässt los Autorettungsteamein Open-Source-Tool, das automatisch KI-Systeme in einer Reihe von Schwachstellenkategorien angreift, dann Korrekturen generiert und deren Wirksamkeit überprüft.

Das Unternehmen veröffentlicht auch OFFEN 1,0ein Standard für das, was er „beobachtbare Verifizierungsnachweise für Laufzeitvertrauen“ nennt, der Organisationen einen Rahmen für den Einbau nachweisbarer KI-Sicherheit in ihre Abläufe geben soll.

Die Markteinführungen erfolgen zu einem volatilen Zeitpunkt für die Sicherheit von KI-Agenten. OpenClawein Open-Source-KI-Agent-Framework, hat seit seinem Debüt Ende 2025 Hunderttausende Entwickler angezogen, aber seine schnelle Akzeptanz hat seine Sicherheitsarchitektur übertroffen.

Große Cybersicherheitsunternehmen, darunter CrowdStrike Und Cisco haben Analysen veröffentlicht, die vor Sicherheitslücken im Framework warnen. Braidwood sagte, dies zeige den Bedarf an einer Infrastruktur, die Sicherheitskontrollen zur Laufzeit durchsetzen und sie nicht nur vor der Bereitstellung testen könne.

Zielmarkt: Das Unternehmen konzentriert sich auf Kunden aus den Bereichen Gesundheitswesen, Fintech und Versicherungen.

Das Unternehmen unterzeichnete Anfang des Jahres zwei Pilotverträge im Rahmen der JP Morgan-Gesundheitskonferenz, drei weitere sind in Vorbereitung. Braidwood sagte, das Unternehmen betrachte das Gesundheitswesen als Einstiegspunkt, betrachte das Problem jedoch letztlich als universell für jeden Einsatz von KI.

Eine neue Entwicklung diese Woche: Glacis auch eine Warteliste eröffnen für einen Starterplan für 49 US-Dollar pro Monat, der Red Teaming, Durchsetzung und kryptografische Zertifizierung für bis zu 10.000 KI-Ereignisse pro Monat abdeckt. Eine Pro-Stufe im Wert von 499 $ deckt bis zu 100.000 Events ab.

Braidwood sagte, der Schritt sei ein bewusster Schritt hin zur Zugänglichkeit der Technologie über die regulierten Unternehmen und Designpartner hinaus, mit denen das Unternehmen bisher zusammengearbeitet hat.

Größere Landschaft: KI-Beobachtbarkeit und -Sicherheit sind ein boomender Markt, in dem gut finanzierte Start-ups und große Unternehmen Laufzeitüberwachung und Leitplanken für Unternehmens-KI anbieten.

Braidwood sagte, Glacis differenziere sich durch seinen Fokus auf kryptografische Beweisbarkeit – nicht nur auf die Erkennung von Problemen, sondern auch auf die Erstellung von manipulationssicheren Beweisen für die Durchführung von Sicherheitskontrollen, was seiner Meinung nach Unternehmen dabei helfen könnte, Versicherungsschutz auszuhandeln und Regulierungsbehörden zufriedenzustellen.

Finanzierung: Glacis hat 575.000 US-Dollar von einer Investorengruppe eingesammelt, zu der Geoff Ralstons Safe Artificial Intelligence Fund, Mighty Capital, Sourdough Ventures und der AI2 Incubator gehören.

Es ist auch Teil des Launchpad-Programms von Cloudflare und Die dritte Beschleunigerkohorte von Plug and Play in Seattle. Braidwood sagte, das Unternehmen hoffe, noch in diesem Jahr eine Seed-Runde abschließen zu können.

Team: Glacis hat fünf Mitarbeiter, darunter die drei Mitbegründer und zwei Ingenieure.

Tatachar sagte, der sechste „Mitarbeiter“ des Unternehmens werde ein KI-Agent sein, der über Vanta mit der Abwicklung der SOC 2-Compliance-Arbeiten beauftragt sei. Das Team schreibt seinen kryptografischen Kerncode in Rust und verwendet im gesamten Workflow Claude, Codex und ChatGPT.

„Wir haben ein Unternehmen mit 100 Mitarbeitern“, scherzte Braidwood. „Fünf davon sind echt, der Rest liegt in der Cloud oder auf dem Schreibtisch.“

Quelle

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein