Bild für Lektion 70.png
Ein skalierbares Speichersystem für Unternehmen, das einen nahtlosen Datenfluss zwischen Speicher und KI-Modellen ermöglicht. Foto: Midjourney

Künstliche Intelligenz verändert die Art und Weise, wie Unternehmen Daten speichern und darauf zugreifen. Denn traditionelle Datenspeichersysteme waren für die gleichzeitige Verarbeitung einfacher Befehle weniger Benutzer ausgelegt, während heutige KI-Systeme mit Millionen von Agenten kontinuierlich und parallel auf riesige Datenmengen zugreifen und diese verarbeiten müssen.

Herkömmliche Speichersysteme verfügen heute über viele komplexe Schichten, was die KI verlangsamt, da die Daten mehrere Schichten durchlaufen müssen, bevor sie die GPU erreichen – den Grafikprozessor, der als das „Gehirn“ der KI gilt.

Cloudian – mitbegründet von Michael Tso (MIT) und Hiroshi Ohta – unterstützt die Datenspeicherung dabei, mit der KI-Revolution Schritt zu halten. Das Unternehmen hat ein skalierbares Speichersystem für Unternehmen entwickelt, das einen nahtlosen Datenfluss zwischen Speicher und KI-Modellen ermöglicht.

Dieses System reduziert die Komplexität durch die Anwendung von Parallelrechnen auf die Speicherung, konsolidiert KI-Funktionalität und Daten auf einer einzigen Parallelverarbeitungsplattform, die in der Lage ist, große Datensätze zu speichern, abzurufen und zu verarbeiten, mit einer Hochgeschwindigkeits-Direktverbindung zwischen Speicher und sowohl GPUs als auch CPUs.

Die integrierte Speicher- und Rechenplattform von Cloudian vereinfacht die Entwicklung von KI-Tools im kommerziellen Maßstab und bietet Unternehmen gleichzeitig eine Speicherinfrastruktur, die mit dem KI-Boom Schritt halten kann.

„Was bei KI oft übersehen wird, ist, dass alles von Daten abhängt“, sagte Tso. „Man kann die KI-Leistung nicht um 10 % steigern, indem man einfach 10 % mehr Daten hat, nicht einmal die zehnfache Menge – man braucht die tausendfache Menge. Daten so zu speichern, dass sie leicht zu verwalten sind, und gleichzeitig Berechnungen direkt in sie einzubetten, sodass sie sofort nach der Eingabe verarbeitet werden können, ohne sie verschieben zu müssen – das ist die Richtung, in die sich die Branche entwickelt.“

Objektspeicherung und KI

Aktuell nutzt die Plattform von Cloudian eine Objektspeicherarchitektur, in der alle Datentypen – Dokumente, Videos , Sensordaten – als einzelne Objekte mit Metadaten gespeichert werden. Objektspeicher ermöglicht die Verwaltung riesiger Datenmengen in einer flachen Struktur und ist ideal für unstrukturierte Daten und KI-Systeme. Bisher war es jedoch nicht möglich, Daten direkt an das KI-Modell zu senden, ohne sie vorher in den Arbeitsspeicher zu kopieren – was zu Latenz und hohem Stromverbrauch führte.

Im Juli letzten Jahres kündigte Cloudian die Erweiterung seines Objektspeichersystems um eine Vektordatenbank an, die Daten in einem Format speichert, das direkt für KI-Anwendungen geeignet ist. Nach dem Laden der Daten führt Cloudian Echtzeit-Vektorberechnungen durch, um KI-Tools wie Empfehlungssysteme, Suchmaschinen und KI-Assistenten zu unterstützen.

Cloudian kündigte außerdem eine Partnerschaft mit NVIDIA an, um ein Speichersystem zu entwickeln, das direkt mit den GPUs des Unternehmens zusammenarbeitet. Laut Cloudian ermöglicht dieses neue System eine schnellere KI-Verarbeitung und senkt die Rechenkosten.

„NVIDIA kontaktierte uns vor etwa anderthalb Jahren, da GPUs nur dann sinnvoll sind, wenn sie kontinuierlich mit Daten versorgt werden“, sagte Tso. „Mittlerweile ist klar, dass es einfacher ist, KI in die Daten zu integrieren, als riesige Datenblöcke zu verschieben. Unser Speichersystem integriert viele KI-Funktionen, sodass wir Daten in der Nähe ihres Erfassungs- und Speicherorts vor- und nachbearbeiten können.“

KI-optimierter Speicher

Cloudian unterstützt weltweit rund 1.000 Unternehmen dabei, den Wert ihrer Daten zu maximieren, darunter große Hersteller, Finanzinstitute, Gesundheitseinrichtungen und Regierungsbehörden.

Die Speicherplattform von Cloudian unterstützt beispielsweise einen großen Automobilhersteller, der mithilfe von KI den Wartungsbedarf einzelner Produktionsroboter ermittelt. Cloudian kooperiert außerdem mit der US-amerikanischen National Library of Medicine zur Speicherung von Forschungsarbeiten und Patenten sowie mit der National Cancer Database zur Speicherung von Tumor-DNA-Sequenzen – umfangreiche Datensätze, die KI verarbeiten kann, um die Forschung an neuen Behandlungsmethoden oder Entdeckungen zu unterstützen.

„GPUs sind eine fantastische Triebkraft“, sagte Tso. „Das Mooresche Gesetz verdoppelt die Rechenleistung alle zwei Jahre, aber GPUs können Aufgaben auf einem Chip parallelisieren, mehrere GPUs miteinander verbinden und das Mooresche Gesetz weit übertreffen. Diese Skalierung treibt die KI auf ein neues Intelligenzniveau, aber GPUs können ihr volles Potenzial nur ausschöpfen, wenn sie Daten mit einer Geschwindigkeit liefern, die ihrer Rechenleistung entspricht – und das gelingt nur, indem alle Zwischenschichten zwischen der GPU und den Daten eliminiert werden.“

(Laut MIT)

Quelle: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html