70번째 수업용 이미지.png
기업을 위한 확장 가능한 스토리지 시스템으로, 스토리지와 AI 모델 간의 원활한 데이터 흐름을 지원합니다. 사진: Midjourney

인공지능은 기업이 데이터를 저장하고 접근하는 방식을 바꾸고 있습니다. 기존의 데이터 저장 시스템은 소수의 사용자가 동시에 간단한 명령을 처리하도록 설계되었지만, 오늘날 수백만 명의 에이전트로 구성된 AI 시스템은 엄청난 양의 데이터에 지속적으로 병렬적으로 접근하고 처리해야 하기 때문입니다.

현재 기존 스토리지 시스템은 여러 계층으로 구성되어 있어 데이터가 GPU(인공지능의 "두뇌"로 여겨지는 그래픽 프로세서)에 도달하기 전에 여러 계층을 거쳐야 하므로 AI 속도를 저하시킵니다.

클라우디안은 MIT 출신의 마이클 초와 오타 히로시가 공동 설립한 회사로, 데이터 스토리지가 AI 혁명에 발맞춰 나갈 수 있도록 지원하고 있습니다. 이 회사는 기업을 위한 확장 가능한 스토리지 시스템을 개발하여 스토리지와 AI 모델 간의 원활한 데이터 흐름을 가능하게 합니다.

이 시스템은 스토리지에 병렬 컴퓨팅을 적용하여 복잡성을 줄이고, AI 기능과 데이터를 단일 병렬 처리 플랫폼에 통합합니다. 이 플랫폼은 대규모 데이터 세트를 저장, 검색 및 처리할 수 있으며, 스토리지와 GPU 및 CPU 간에 고속 직접 연결을 제공합니다.

클라우디안의 통합 스토리지 및 컴퓨팅 플랫폼은 상용 규모의 AI 도구 개발을 간소화하는 동시에 기업에 AI 붐에 발맞춰 나갈 수 있는 스토리지 인프라를 제공합니다.

“사람들이 인공지능에 대해 흔히 간과하는 한 가지는 바로 데이터가 핵심이라는 점입니다.”라고 Tso는 말했습니다. “단순히 데이터 양을 10% 늘리는 것만으로는 인공지능 성능을 10% 향상시킬 수 없습니다. 10배로 늘려도 안 됩니다. 1,000배의 데이터가 필요합니다. 데이터를 관리하기 쉬운 방식으로 저장하고, 데이터 자체에 연산 기능을 내장하여 데이터를 이동시키지 않고 입력 즉시 처리할 수 있도록 하는 것이 바로 업계가 나아가야 할 방향입니다.”

객체 스토리지 및 AI

현재 클라우디안 플랫폼은 객체 스토리지 아키텍처를 사용하고 있으며, 문서, 비디오 , 센서 데이터 등 모든 유형의 데이터가 메타데이터와 함께 단일 객체로 저장됩니다. 객체 스토리지는 방대한 양의 데이터를 평면 구조로 관리할 수 있어 비정형 데이터 및 AI 시스템에 이상적이지만, 이전에는 데이터를 컴퓨터 메모리에 복사하지 않고 AI 모델로 직접 전송하는 것이 불가능하여 지연 시간과 높은 전력 소비를 초래했습니다.

지난 7월, 클라우디안은 객체 스토리지 시스템에 벡터 데이터베이스를 추가하여 AI에서 즉시 사용할 수 있는 형식으로 데이터를 저장한다고 발표했습니다. 데이터가 로드되면 클라우디안은 추천 엔진, 검색 엔진, AI 비서와 같은 AI 도구를 지원하기 위해 데이터에 대한 실시간 벡터 연산을 수행합니다.

클라우디안은 또한 엔비디아와 협력하여 엔비디아의 GPU와 직접 연동되는 스토리지 시스템을 개발한다고 발표했습니다. 클라우디안은 이 새로운 시스템을 통해 AI 처리 속도를 높이고 컴퓨팅 비용을 절감할 수 있다고 밝혔습니다.

"엔비디아는 약 1년 반 전에 저희에게 연락했는데, GPU는 지속적인 데이터 스트림이 '공급'될 때만 유용하기 때문입니다."라고 Tso는 말했습니다. "이제 사람들은 대규모 데이터 블록을 이동하는 것보다 데이터에 AI를 적용하는 것이 더 쉽다는 것을 깨달았습니다. 저희 스토리지 시스템은 다양한 AI 기능을 통합하고 있어 데이터를 수집하고 저장하는 곳 근처에서 데이터를 사전 처리하고 사후 처리할 수 있습니다."

AI가 선호하는 저장소

클라우디안은 주요 제조업체, 금융 기관, 의료 시설 및 정부 기관을 포함하여 전 세계 약 1,000개 기업이 데이터의 가치를 극대화할 수 있도록 지원하고 있습니다.

예를 들어, 클라우디안의 스토리지 플랫폼은 주요 자동차 제조업체가 AI를 활용하여 개별 생산 로봇에 유지보수가 필요한 시기를 판단하는 데 도움을 주고 있습니다. 또한 클라우디안은 미국 ​​국립 의학 도서관과 협력하여 연구 논문과 특허를 저장하고, 국립 암 데이터베이스와 협력하여 종양 DNA 염기서열을 저장합니다. 이러한 풍부한 데이터 세트는 AI가 처리하여 새로운 치료법이나 발견에 대한 연구를 지원할 수 있습니다.

"GPU는 놀라운 원동력입니다."라고 Tso는 말했습니다. "무어의 법칙에 따라 컴퓨팅 성능은 2년마다 두 배로 증가하지만, GPU는 칩 하나에서 작업을 병렬화하고, 여러 GPU를 연결하여 무어의 법칙을 훨씬 뛰어넘을 수 있습니다. 이러한 규모 확장은 AI를 새로운 차원의 지능으로 끌어올리고 있지만, GPU가 최대 성능을 발휘하려면 컴퓨팅 성능에 걸맞은 속도로 데이터를 전송해야 합니다. 그리고 그렇게 하려면 GPU와 데이터 사이의 모든 중간 단계를 제거해야 합니다."

(MIT에 따르면)

출처: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html