Das Allen Institute for AI (Ai2) hat eine neue Generation seiner Flaggschiff-Modelle für große Sprachen herausgebracht, die darauf ausgelegt sind, stärker mit Schwergewichten aus Industrie und Wissenschaft zu konkurrieren.
Die in Seattle ansässige gemeinnützige Organisation Olmo 3 vorgestellteine Sammlung offener Sprachmodelle, von der es heißt, dass sie vollständig offene Modelle wie Stanfords Marin und kommerzielle Open-Weight-Modelle wie Metas Llama 3.1 übertrifft.
Frühere Versionen von Olmo wurden hauptsächlich als wissenschaftliche Werkzeuge zum Verständnis der Erstellung von KI-Modellen konzipiert. Mit Olmo 3 erweitert Ai2 seinen Fokus und positioniert die Modelle als leistungsstarke, effiziente und transparente Systeme, die für den realen Einsatz, einschließlich kommerzieller Anwendungen, geeignet sind.
„Olmo 3 beweist, dass Offenheit und Leistung gemeinsam voranschreiten können“, sagte Ali Farhadi, CEO von Ai2, in einer Pressemitteilung am Donnerstagmorgen, in der er die neuen Modelle ankündigte.
Es ist Teil einer umfassenderen Entwicklung in der KI-Welt. Im vergangenen Jahr haben immer leistungsfähigere offene Modelle von Unternehmen und Universitäten – darunter Meta, DeepSeek, Qwen und Stanford – begonnen, mit der Leistung proprietärer Systeme großer Technologieunternehmen zu konkurrieren.
Viele der neuesten offenen Modelle sind so konzipiert, dass sie ihre Argumentation Schritt für Schritt zeigen – allgemein als „Denkmodelle“ bezeichnet – was zu einem wichtigen Maßstab auf diesem Gebiet geworden ist.
Ai2 veröffentlicht Olmo 3 in mehreren Versionen: Olmo 3 Base (das Kernfundamentmodell); Olmo 3 Instruct (abgestimmt, um den Anweisungen des Benutzers zu folgen); Olmo 3 Think (entworfen, um expliziteres Denken zu zeigen); und Olmo 3 RL Zero (ein experimentelles Modell, das mit Reinforcement Learning trainiert wurde).
Offene Modelle gewinnen bei Start-ups und Unternehmen an Bedeutung, die mehr Kontrolle über Kosten und Daten sowie einen klareren Einblick in die Funktionsweise der Technologie wünschen.
Ai2 geht noch einen Schritt weiter und veröffentlicht den vollständigen „Modellfluss“ hinter Olmo 3 – eine Reihe von Schnappschüssen, die zeigen, wie das Modell die einzelnen Trainingsphasen durchlaufen hat. Darüber hinaus ermöglicht ein aktualisiertes OlmoTrace-Tool Forschern, die Argumentationsschritte eines Modells mit den spezifischen Daten und Trainingsentscheidungen zu verknüpfen, die sie beeinflusst haben.
In Bezug auf Energie- und Kosteneffizienz ist das neue Olmo-Basismodell laut Ai2 2,5-mal effizienter zu trainieren als Metas Llama 3.1 (basierend auf GPU-Stunden pro Token, Vergleich von Olmo 3 Base mit dem nachtrainierten 8B-Modell von Meta). Ein Großteil dieses Gewinns ist darauf zurückzuführen, dass Olmo 3 mit weitaus weniger Token trainiert wird als vergleichbare Systeme, in einigen Fällen sechsmal weniger als bei Konkurrenzmodellen.
Neben anderen Verbesserungen kann Olmo 3 laut Ai2 viel längere Dokumente auf einmal lesen oder analysieren und unterstützt Eingaben von bis zu 65.000 Token, was etwa der Länge eines kurzen Buchkapitels entspricht.
Ai2 wurde 2014 vom verstorbenen Microsoft-Mitbegründer Paul Allen gegründet und ist seit langem als forschungsorientierte gemeinnützige Organisation tätig, die Open-Source-Tools und -Modelle entwickelt, während größere kommerzielle Labore im Rampenlicht standen. Das Institut hat in diesem Jahr eine Reihe von Schritten unternommen, um sein Profil zu schärfen und gleichzeitig seine Mission, KI zur Lösung der größten Probleme der Welt zu entwickeln, beizubehalten.
Im August war Ai2 ausgewählt von der National Science Foundation und Nvidia für eine bahnbrechende 152-Millionen-Dollar-Initiative zur Entwicklung vollständig offener multimodaler KI-Modelle für die wissenschaftliche Forschung, die das Institut als wichtigen Beitragszahler für das KI-Rückgrat des Landes positionieren soll.
Es fungiert auch als wichtiger technischer Partner für Krebs-KI-Allianzum Fred Hutch und anderen führenden US-Krebszentren dabei zu helfen, KI-Modelle anhand klinischer Daten zu trainieren, ohne Patientenakten preiszugeben.
Olmo 3 ist jetzt auf Hugging Face und verfügbar Der Modellspielplatz von Ai2.
