- Die Bandbreite von Thunderbolt 5 bringt externe GPU-Hardware näher an den Arbeitsplatzbereich heran
- Lokale KI-Inferenz gewinnt an Aufmerksamkeit, da die Cloud-Kosten weiter steigen
- Entwickler erforschen zunehmend die direkte Ausführung von Sprachmodellen auf persönlicher Hardware
Externe GPU-Gehäuse gibt es schon seit einiger Zeit – typischerweise im Zusammenhang mit Gaming-Laptops und Grafikbeschleunigungsaufgaben, die die Fähigkeiten mobiler Prozessoren übersteigen.
Das neu veröffentlichte TBT5-AI von Plugable gehört zu dieser Kategorie, führt jedoch ein Design ein, das sich auf die Verbindung von Desktop-Grafikhardware mit Laptops für lokale KI-Workloads konzentriert.
Das Gehäuse bietet einen PCIe x16-Steckplatz voller Länge, der es Benutzern ermöglicht, eine Grafikkarte der Desktop-Klasse im externen Gehäuse zu installieren.
Der Artikel wird weiter unten fortgesetzt
Hardware der Desktop-Klasse in einem externen Gehäuse
Ein integriertes 850-Watt-Netzteil liefert die nötige Energie für den Betrieb von Hochleistungs-GPUs, die normalerweise nur in Desktop-Workstations zum Einsatz kommen.
Für die Konnektivität wird dieses Gerät mit einem einzigen Thunderbolt 5-Kabel geliefert, das eine direkte Verbindung mit einem Laptop ermöglicht und bis zu 80 Gbit/s bidirektionale Bandbreite unterstützt, während ein Boost-Modus den Durchsatz für bestimmte Arbeitslasten auf 120 Gbit/s erhöhen kann.
Innerhalb des Gehäuses verbindet diese Bandbreite die installierte GPU über PCIe 4.0 x4-Lanes und reduziert so die Übertragungsengpässe, die frühere externe GPU-Designs begrenzten.
Das System beherbergt nicht nur die Grafikkarte, sondern fungiert auch als Hub, der die Konnektivität für den angeschlossenen Laptop erweitert.
Es liefert bis zu 96 Watt Ladeleistung und bietet gleichzeitig 2,5-Gigabit-Ethernet-Netzwerke und mehrere Hochgeschwindigkeits-USB-Anschlüsse.
Laut Plugable möchten viele Ingenieure zunehmend die Modellverarbeitung und Datenverarbeitung in ihren eigenen Systemen belassen, und TBT5-AI bietet genau das, da es für Entwickler konzipiert ist, die mit lokalen KI-Inferenzumgebungen experimentieren.
Das Gerät ermöglicht es Entwicklern, große Sprachmodelle direkt auf lokaler Hardware auszuführen, anstatt Workloads an die Cloud-Infrastruktur zu senden.
Es unterstützt gängige lokale KI-Frameworks, einschließlich llama.cpp, Hugging Face-Modelle und Nvidias NIM-Inferenzplattform.
Bernie Thompson, Chief Technology Officer von Plugable, sagte, die Hardware ziele auf Branchen ab, in denen der Schutz sensibler Informationen weiterhin eine strenge betriebliche Anforderung sei.
„Datenschutz ist kein Merkmal, sondern ein Auftrag“, sagte Thompson und bezog sich dabei auf Sektoren wie das Gesundheitswesen, Finanzdienstleistungen und Rechtsorganisationen.
Plugable bereitet außerdem Unternehmensversionen mit den Namen TBT5-AI16, TBT5-AI32 und TBT5-AI96 vor, die gebündelte Grafikprozessoren enthalten werden.
Diese Konfigurationen werden eine Softwareumgebung namens Plugable Chat integrieren, die als Air-Gap-KI-Orchestrierungsplattform für regulierte Organisationen beschrieben wird.
Das Unternehmen behauptet, dass diese Systeme die KI-Verarbeitung weg von abonnementbasierten Cloud-Diensten hin zu einer lokal kontrollierten Computerinfrastruktur verlagern werden.
Das Plugable TBT5-AI-Gehäuse kostet als Einzelgerät 599,95 US-Dollar, wurde vor ein paar Tagen offiziell auf den Markt gebracht und ist jetzt über Amazon und Plugable.com erhältlich.
Über Macsources
Folgen Sie TechRadar auf Google News Und Fügen Sie uns als bevorzugte Quelle hinzu um unsere Expertennachrichten, Rezensionen und Meinungen in Ihren Feeds zu erhalten. Klicken Sie unbedingt auf die Schaltfläche „Folgen“!
Und natürlich können Sie das auch Folgen Sie TechRadar auf TikTok für Neuigkeiten, Rezensionen, Unboxings in Videoform und erhalten Sie regelmäßige Updates von uns WhatsApp zu.
