obraz 70.png
Skalowalny system pamięci masowej dla przedsiębiorstw, który umożliwia płynny przepływ danych między modelami pamięci masowej i sztucznej inteligencji. Zdjęcie: Midjourney

Sztuczna inteligencja zmienia sposób, w jaki firmy przechowują i uzyskują dostęp do danych. Dzieje się tak, ponieważ tradycyjne systemy przechowywania danych zostały zaprojektowane do przetwarzania prostych poleceń od kilku użytkowników jednocześnie, podczas gdy dzisiejsze systemy AI z milionami agentów muszą uzyskiwać dostęp do ogromnych ilości danych i przetwarzać je w sposób ciągły i równoległy.

Tradycyjne systemy pamięci masowej mają obecnie wiele warstw złożoności, co spowalnia sztuczną inteligencję, ponieważ dane muszą przejść przez wiele warstw, zanim dotrą do procesora graficznego (GPU), uważanego za „komórkę mózgową” sztucznej inteligencji.

Cloudian — firma współzałożona przez Michaela Tso (z MIT) i Hiroshiego Ohtę — pomaga w nadążaniu za rewolucją w dziedzinie sztucznej inteligencji w dziedzinie pamięci masowej. Firma opracowała skalowalny system pamięci masowej dla przedsiębiorstw, który umożliwia płynny przepływ danych między modelami pamięci masowej a modelami sztucznej inteligencji.

System redukuje złożoność poprzez zastosowanie obliczeń równoległych do pamięci masowej, konsolidując sztuczną inteligencję i funkcjonalność danych na jednej platformie przetwarzania równoległego, która może przechowywać, pobierać i przetwarzać duże zbiory danych, z szybką bezpośrednią łącznością między pamięcią masową a procesorami GPU i CPU.

Zintegrowana platforma obliczeniowo-pamięciowa Cloudian upraszcza tworzenie narzędzi AI na skalę komercyjną, jednocześnie zapewniając przedsiębiorstwom infrastrukturę pamięci masowej, która może nadążać za gwałtownym rozwojem AI.

„Ludzie często zapominają, że w przypadku sztucznej inteligencji wszystko kręci się wokół danych” – mówi Tso. „Nie da się uzyskać 10% wzrostu wydajności sztucznej inteligencji przy 10% większej ilości danych, a nawet 10 razy więcej danych to za mało – potrzeba 1000 razy więcej danych. Przechowywanie danych w sposób łatwy w zarządzaniu i osadzanie obliczeń na bieżąco, aby można było je wykonywać na bieżąco, bez konieczności ich przenoszenia – właśnie w tym kierunku zmierza branża”.

Przechowywanie obiektów i sztuczna inteligencja

Obecnie platforma Cloudian wykorzystuje architekturę pamięci obiektowej, w której wszystkie rodzaje danych – dokumenty, filmy , dane z czujników – są przechowywane jako pojedyncze obiekty z metadanymi. Pamięć obiektowa może zarządzać ogromnymi ilościami danych w płaskiej strukturze, co czyni ją idealną dla danych nieustrukturyzowanych i systemów AI. Wcześniej jednak nie było możliwe bezpośrednie przesyłanie danych do modelu AI bez uprzedniego skopiowania ich do pamięci komputera, co powodowało opóźnienia i marnotrawstwo energii.

W lipcu Cloudian ogłosił rozszerzenie swojego systemu obiektowego przechowywania danych o wektorową bazę danych, która przechowuje dane w formie natychmiast dostępnej dla sztucznej inteligencji. W miarę pobierania danych, Cloudian oblicza ich postać wektorową w czasie rzeczywistym, aby wspierać narzędzia sztucznej inteligencji, takie jak wyszukiwarki, wyszukiwarki i asystenci AI.

Cloudian ogłosił również partnerstwo z firmą NVIDIA, dzięki któremu jego system pamięci masowej będzie współpracował bezpośrednio z procesorami graficznymi firmy. Cloudian poinformował, że nowy system umożliwia szybsze przetwarzanie AI i niższe koszty obliczeniowe.

„NVIDIA zwróciła się do nas około półtora roku temu, ponieważ procesory graficzne są przydatne tylko wtedy, gdy są dostępne dane” – powiedział Tso. „Teraz ludzie zdają sobie sprawę, że łatwiej jest wdrożyć sztuczną inteligencję do danych niż przesyłać ogromne ilości danych. Nasz system pamięci masowej ma wbudowane wiele funkcji sztucznej inteligencji, dzięki czemu możemy wstępnie i postprodukcyjnie przetwarzać dane blisko miejsca, w którym je zbieramy i przechowujemy”.

Priorytetowe przechowywanie AI

Cloudian pomaga około 1000 przedsiębiorstw na całym świecie w maksymalnym wykorzystaniu posiadanych danych, w tym dużym producentom, instytucjom finansowym, placówkom opieki zdrowotnej i agencjom rządowym.

Na przykład platforma pamięci masowej Cloudian pomaga dużemu producentowi samochodów wykorzystywać sztuczną inteligencję do określania, kiedy każdy z robotów produkcyjnych wymaga konserwacji. Cloudian współpracuje również z amerykańską Narodową Biblioteką Medyczną (U.S. National Library of Medicine), aby przechowywać prace badawcze i patenty, oraz z Narodową Bazą Danych o Nowotworach (National Cancer Database), aby przechowywać sekwencje DNA guzów – bogate zbiory danych, które sztuczna inteligencja może przetwarzać, aby wspomagać rozwój nowych metod leczenia lub odkryć.

„Kaligrafiki graficzne to ogromny potencjał” – mówi Tso. „Prawo Moore’a podwaja moc obliczeniową co dwa lata, ale procesory graficzne (GPU) mogą paralelizować zadania na chipie, łączyć wiele procesorów graficznych i wykraczać poza prawo Moore’a. Ta skala przenosi sztuczną inteligencję na nowy poziom, ale jedynym sposobem, aby procesory graficzne działały optymalnie, jest dostarczanie danych z taką samą szybkością, z jaką wykorzystują swoją moc obliczeniową – a jedynym sposobem, aby to osiągnąć, jest usunięcie wszystkich warstw pośredniczących między procesorem graficznym a danymi”.

(Według MIT)

Źródło: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html