Amazon Web Services macht es möglich Zugriff auf Daten, die in seinem S3-Cloud-Speicherdienst gespeichert sind Als traditionelles Dateisystem überbrückt es eine Kluft zwischen zwei Speichertypen, die Entwickler und Datenwissenschaftler seit fast zwei Jahrzehnten frustriert.
Die neue Funktion heißt Amazon S3-Dateienermöglicht Anwendungen, die auf AWS ausgeführt werden, den Zugriff auf einen S3-Speicher-Bucket, als wäre es ein lokales Dateisystem, und das Lesen und Schreiben von Daten mithilfe von Standard-Dateioperationen und nicht mit speziellen Cloud-Speicherbefehlen.
In der Praxis bedeutet dies, dass ein Team für maschinelles Lernen einen Trainingsauftrag direkt mit Daten in S3 ausführen kann, ohne diese zunächst in ein separates Dateisystem zu kopieren. Oder, was heutzutage vielleicht noch wichtiger ist: Ein KI-Agent kann Dateien in S3 mit denselben grundlegenden Tools lesen und schreiben, die er auf einer lokalen Festplatte verwenden würde.
S3, vor 20 Jahren ins Leben gerufenenthält eine riesige Menge der Cloud-Daten der Welt. S3 Files verspricht, die Tür für eine viel breitere Palette von Apps und KI-Systemen zu öffnen, die direkt mit diesen Daten arbeiten.
Die Hintergrundgeschichte: In ein ungewöhnlich offenherziger Essay zeitgleich mit den Nachrichten, Andy Warfieldein Vizepräsident und angesehener Ingenieur, der das S3-Engineering bei AWS leitet, beschrieb die technischen und philosophischen Herausforderungen bei der Umsetzung der Funktion und warum der erste Ansatz scheiterte.
Das Kernproblem bestehe darin, schrieb Warfield, dass Dateien und Objekte grundlegend unterschiedlich seien.
Dateien können an Ort und Stelle bearbeitet und in Echtzeit anwendungsübergreifend geteilt werden, und zwar so, wie es die meisten Softwareprogramme schon immer erwartet haben. Objekte in S3 funktionieren anders: Sie sind so konzipiert, dass sie als vollständige Einheiten gespeichert und abgerufen werden können, und Millionen von Anwendungen basieren auf dieser Annahme.
Deshalb „taten sie das einzig Vernünftige, was man tun kann, wenn man vor einem wirklich schwierigen technischen Designproblem steht: Wir sperrten eine Gruppe unserer leitenden Ingenieure in einen Raum und ließen sie nicht raus, bis sie einen Plan hatten, der ihnen allen gefiel“, schrieb Warfield.
„Es folgten leidenschaftliche und kontroverse Diskussionen“, sagte er. „Und dann haben wir endlich aufgegeben.“
Aber letztendlich fand das Team seine Antwort, indem es nicht länger versuchte, die Grenze zwischen Dateien und Objekten zu verbergen, sondern sie stattdessen zu einem bewussten Teil des Designs machte.
Der Ansatz: S3 Files verwendet ein „Stage and Commit“-Modell und übernimmt das Konzept von Versionskontrollsystemen wie Git: Änderungen sammeln sich auf der Seite des Dateisystems an und werden als ganze Objekte an S3 zurückgesendet, wodurch die Garantien erhalten bleiben, von denen bestehende S3-Anwendungen abhängen.
Google und Microsoft bieten ihre eigenen Tools für den Zugriff auf Cloud-Objektspeicher über Dateisystemschnittstellen an, AWS positioniert S3 Files jedoch als tiefere Integration, die durch ein vollständig verwaltetes Dateisystem und nicht durch einen einfachen Adapter unterstützt wird.
S3 Files ist ab sofort in AWS-Regionen weltweit verfügbar und basiert auf dem Elastic File System von Amazon. Das Unternehmen gibt an, dass es sich seit etwa neun Monaten im Kundentest befinde.
