Hugging Face übernimmt XetHub für optimiertes Hosting von KI-Modellen

MÜNCHEN (IT BOLTWISE) – Hugging Face erwirbt XetHub, eine Plattform, die von ehemaligen Apple-Forschern gegründet wurde, um die Arbeit mit großen KI-Modellen und Datensätzen erheblich zu erleichtern.

Hugging Face hat heute bekannt gegeben, dass es das in Seattle ansässige Unternehmen XetHub übernommen hat. XetHub, gegründet von ehemaligen Apple-Forschern, bietet eine kollaborative Entwicklungsplattform, die es maschinellen Lernteams ermöglicht, effizienter mit großen Datensätzen und Modellen zu arbeiten.

Obwohl der genaue Wert des Deals nicht veröffentlicht wurde, erklärte CEO Clem Delangue in einem Interview, dass dies die bisher größte Akquisition des Unternehmens ist.

Das Team von Hugging Face plant, die Technologie von XetHub in seine Plattform zu integrieren und sein Speicher-Backend zu verbessern, was es Entwicklern ermöglichen wird, größere Modelle und Datensätze als bisher zu hosten – und das mit minimalem Aufwand.

„Das XetHub-Team wird uns helfen, das Wachstum der HF-Datensätze und -Modelle in den nächsten fünf Jahren zu sichern, indem wir auf eine verbesserte Version von LFS als Speicher-Backend für die Repositories der Hub umsteigen“, schrieb Julien Chaumond, der CTO von Hugging Face, in einem Blogpost.

Was bringt XetHub zu Hugging Face?
XetHub wurde 2021 von Yucheng Low, Ajit Banerjee und Rajat Arya gegründet, die zuvor an der internen ML-Infrastruktur von Apple gearbeitet haben. Das Unternehmen hat sich schnell einen Namen gemacht, indem es Unternehmen eine Plattform bot, mit der sie große Modelle und Datensätze erkunden, verstehen und effizient damit arbeiten konnten.

Die Plattform ermöglichte eine Git-ähnliche Versionskontrolle für Repositories, die bis zu mehreren Terabyte groß sein können. Teams konnten Änderungen nachverfolgen, zusammenarbeiten und die Reproduzierbarkeit ihrer ML-Workflows sicherstellen.

In den letzten drei Jahren hat XetHub eine beträchtliche Kundenbasis aufgebaut, darunter große Namen wie Tableau und Gather AI. Die Plattform konnte die komplexen Skalierungsanforderungen bewältigen, die aus ständig wachsenden Tools, Dateien und Artefakten resultieren. Sie verbesserte Speicher- und Transferprozesse durch fortschrittliche Techniken wie inhaltsdefinierte Chunking, Deduplikation, sofortige Repository-Montage und File-Streaming.

Durch die Übernahme wird die XetHub-Plattform nicht mehr eigenständig existieren. Stattdessen werden ihre Daten- und Modellverwaltungskapazitäten auf den Hugging Face Hub übertragen, wodurch die Plattform für das Teilen von Modellen und Datensätzen mit einem optimierten Speicher- und Versionierungs-Backend aufgewertet wird.

Aktuell verwendet der Hugging Face Hub Git LFS (Large File Storage) als Backend, das 2020 eingeführt wurde. Laut Chaumond war schon lange klar, dass dieses Speichersystem angesichts des ständig wachsenden Volumens großer Dateien in der KI-Welt nicht ausreichen würde. Es war ein guter Startpunkt, aber nun ist ein Upgrade notwendig, das mit XetHub kommen wird.

Derzeit unterstützt die XetHub-Plattform einzelne Dateien mit einer Größe von mehr als 1TB, wobei die Gesamtgröße des Repositories weit über 100TB hinausgehen kann. Dies ist ein erheblicher Fortschritt gegenüber Git LFS, das nur eine maximale Dateigröße von 5GB und eine Repositoriumgröße von 10GB unterstützt. Dadurch kann der Hugging Face Hub künftig noch größere Datensätze, Modelle und Dateien hosten.

Zusätzlich werden die erweiterten Speicher- und Transferfunktionen von XetHub das Angebot noch attraktiver machen.

Die inhaltsdefinierte Chunking- und Deduplikationsfähigkeiten der Plattform ermöglichen es Nutzern beispielsweise, nur ausgewählte Teile neuer Datenzeilen hochzuladen, wenn ein Datensatz aktualisiert wird, anstatt den gesamten Dateisatz erneut hochladen zu müssen, was viel Zeit spart. Dasselbe gilt für Modell-Repositories.

„Da der Bereich der KI auf Modelle mit Billionen von Parametern zusteuert (dank Maxime Labonne für das neue BigLlama-3.1-1T ?), hoffen wir, dass diese neue Technologie neue Maßstäbe sowohl in der Community als auch in Unternehmen setzen wird“, erklärte der CTO. Er fügte hinzu, dass die Unternehmen eng zusammenarbeiten werden, um Lösungen zu entwickeln, die Teams dabei unterstützen, ihre Ressourcen im Hugging Face Hub zu verwalten und deren Entwicklung nachzuverfolgen.

Derzeit hostet der Hugging Face Hub 1,3 Millionen Modelle, 450.000 Datensätze und 680.000 Spaces, die zusammen eine Größe von 12PB im LFS ausmachen.

Es bleibt spannend zu sehen, wie sich diese Zahl mit dem verbesserten Speicher-Backend, das die Unterstützung größerer Modelle und Datensätze ermöglicht, weiterentwickeln wird. Der Zeitplan für die Integration und die Einführung weiterer unterstützender Funktionen ist derzeit noch unklar.