obraz lekcji 70.png
Skalowalny system pamięci masowej dla przedsiębiorstw, który umożliwia płynny przepływ danych między modelami pamięci masowej i sztucznej inteligencji. Zdjęcie: Midjourney

Sztuczna inteligencja zmienia sposób, w jaki firmy przechowują i uzyskują dostęp do danych. Dzieje się tak, ponieważ tradycyjne systemy przechowywania danych zostały zaprojektowane do przetwarzania prostych poleceń od kilku użytkowników jednocześnie, podczas gdy obecnie systemy AI z milionami agentów muszą uzyskiwać dostęp do ogromnych ilości danych i przetwarzać je w sposób ciągły i równoległy.

Tradycyjne systemy pamięci masowej charakteryzują się obecnie wieloma warstwami złożoności, co spowalnia sztuczną inteligencję, ponieważ dane muszą przejść przez wiele warstw, zanim dotrą do procesora graficznego (GPU), nazywanego „komórką mózgową” sztucznej inteligencji.

Cloudian, firma założona przez Michaela Tso (z MIT) i Hiroshiego Ohtę, pomaga firmom zajmującym się przechowywaniem danych nadążać za rewolucją w dziedzinie sztucznej inteligencji. Firma opracowała skalowalny system pamięci masowej dla przedsiębiorstw, który umożliwia płynny przepływ danych między modelami pamięci masowej a modelami sztucznej inteligencji.

System redukuje złożoność poprzez zastosowanie obliczeń równoległych do pamięci masowej, konsolidując sztuczną inteligencję i funkcjonalność danych na jednej platformie przetwarzania równoległego, która może przechowywać, pobierać i przetwarzać duże zbiory danych, z szybkimi bezpośrednimi połączeniami między pamięcią masową a procesorami GPU i CPU.

Zintegrowana platforma obliczeniowo-pamięciowa Cloudian upraszcza tworzenie narzędzi AI na skalę komercyjną, jednocześnie zapewniając przedsiębiorstwom infrastrukturę pamięci masowej, która może nadążać za gwałtownym rozwojem AI.

„Ludzie często zapominają, że w przypadku sztucznej inteligencji wszystko kręci się wokół danych” – mówi Tso. „Nie da się uzyskać 10% wzrostu wydajności sztucznej inteligencji, mając o 10% więcej danych, ani nawet 10 razy więcej – potrzeba 1000 razy więcej danych. Przechowywanie danych w sposób łatwy w zarządzaniu i osadzanie obliczeń na bieżąco, aby można było je wykonywać na bieżąco, bez konieczności ich przenoszenia – właśnie w tym kierunku zmierza branża”.

Przechowywanie obiektów i sztuczna inteligencja

Obecnie platforma Cloudian wykorzystuje architekturę pamięci obiektowej, w której wszystkie rodzaje danych – dokumenty, filmy , dane z czujników – są przechowywane jako pojedyncze obiekty z metadanymi. Pamięć obiektowa może zarządzać ogromnymi ilościami danych w płaskiej strukturze, co czyni ją idealną dla danych nieustrukturyzowanych i systemów AI. Wcześniej jednak nie było możliwe bezpośrednie przesyłanie danych do modelu AI bez uprzedniego skopiowania ich do pamięci komputera, co powodowało opóźnienia i marnotrawstwo energii.

W lipcu Cloudian ogłosił rozszerzenie swojego systemu obiektowego przechowywania danych o wektorową bazę danych, która przechowuje dane w formie natychmiast dostępnej dla sztucznej inteligencji. W miarę pobierania danych, Cloudian oblicza ich postać wektorową w czasie rzeczywistym, aby wspierać narzędzia sztucznej inteligencji, takie jak wyszukiwarki, wyszukiwarki i asystenci AI.

Cloudian ogłosił również partnerstwo z firmą NVIDIA, dzięki któremu jego system pamięci masowej będzie współpracował bezpośrednio z procesorami graficznymi firmy. Cloudian poinformował, że nowy system umożliwia szybsze przetwarzanie AI i obniżenie kosztów obliczeniowych.

„NVIDIA zwróciła się do nas około półtora roku temu, ponieważ procesory graficzne są przydatne tylko wtedy, gdy są dostępne dane” – powiedział Tso. „Teraz ludzie zdają sobie sprawę, że łatwiej jest wdrożyć sztuczną inteligencję do danych niż przesyłać ogromne ilości danych. Nasz system pamięci masowej ma wbudowane wiele funkcji sztucznej inteligencji, dzięki czemu możemy wstępnie i później przetwarzać dane blisko miejsca, w którym je zbieramy i przechowujemy”.

Pamięć masowa priorytetyzowana przez sztuczną inteligencję

Cloudian pomaga około 1000 przedsiębiorstw na całym świecie w maksymalnym wykorzystaniu posiadanych danych, w tym dużym producentom, instytucjom finansowym, placówkom opieki zdrowotnej i agencjom rządowym.

Na przykład platforma pamięci masowej Cloudian pomaga dużemu producentowi samochodów wykorzystywać sztuczną inteligencję do określania, kiedy każdy robot produkcyjny wymaga konserwacji. Cloudian współpracuje również z amerykańską Narodową Biblioteką Medyczną (U.S. National Library of Medicine), aby przechowywać prace badawcze i patenty, oraz z Narodową Bazą Danych o Nowotworach (National Cancer Database), aby przechowywać sekwencje DNA guzów – bogate zbiory danych, które sztuczna inteligencja może przetwarzać, aby wspomagać badania nad nowymi metodami leczenia lub nowymi odkryciami.

„Kaligrafiki graficzne to ogromny potencjał” – mówi Tso. „Prawo Moore’a podwaja moc obliczeniową co dwa lata, ale GPU mogą paralelizować zadania na chipie, łączyć wiele GPU i wykraczać poza prawo Moore’a. Ta skala wynosi sztuczną inteligencję na nowy poziom, ale jedynym sposobem, aby GPU dawały z siebie wszystko, jest dostarczanie danych z taką samą szybkością, z jaką wykorzystują swoją moc obliczeniową – a jedynym sposobem, aby to osiągnąć, jest usunięcie wszystkich warstw między GPU a danymi”.

(Według MIT)

Źródło: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html