Imagem da lição 70.png
Um sistema de armazenamento empresarial escalável que permite o fluxo contínuo de dados entre o armazenamento e os modelos de IA. Foto: Midjourney

A inteligência artificial está mudando a forma como as empresas armazenam e acessam dados. Isso ocorre porque os sistemas tradicionais de armazenamento de dados foram projetados para processar comandos simples de poucos usuários por vez, enquanto hoje, os sistemas de IA com milhões de agentes precisam acessar e processar quantidades massivas de dados de forma contínua e paralela.

Os sistemas de armazenamento tradicionais agora possuem muitas camadas de complexidade, o que torna a IA mais lenta, pois os dados precisam passar por diversas camadas antes de chegar à GPU – a unidade de processamento gráfico, considerada o “cérebro” da IA.

A Cloudian, cofundada por Michael Tso (do MIT) e Hiroshi Ohta, está ajudando o armazenamento de dados a acompanhar a revolução da IA. A empresa desenvolveu um sistema de armazenamento empresarial escalável que permite o fluxo contínuo de dados entre o armazenamento e os modelos de IA.

O sistema reduz a complexidade aplicando computação paralela ao armazenamento, consolidando a funcionalidade de IA e dados em uma única plataforma de processamento paralelo capaz de armazenar, recuperar e processar conjuntos de dados em larga escala, com conexões diretas de alta velocidade entre o armazenamento e as GPUs e CPUs.

A plataforma integrada de computação e armazenamento da Cloudian simplifica a criação de ferramentas de IA em escala comercial, ao mesmo tempo que fornece às empresas uma infraestrutura de armazenamento capaz de acompanhar a explosão da IA.

“Uma coisa que as pessoas frequentemente esquecem sobre IA é que tudo gira em torno dos dados”, diz Tso. “Você não consegue um aumento de 10% no desempenho da IA ​​com 10% mais dados, ou mesmo 10 vezes mais dados — você precisa de 1.000 vezes mais dados. Armazenar dados de uma forma fácil de gerenciar e incorporar a computação diretamente neles, para que você possa executá-la conforme os dados chegam, sem precisar movê-los — é para onde o setor está caminhando.”

Armazenamento de objetos e IA

Atualmente, a plataforma da Cloudian utiliza uma arquitetura de armazenamento de objetos, onde todos os tipos de dados — documentos, vídeos , dados de sensores — são armazenados como objetos individuais com metadados. O armazenamento de objetos consegue gerenciar grandes quantidades de dados em uma estrutura plana, tornando-o ideal para dados não estruturados e sistemas de IA, mas anteriormente era impossível enviar dados diretamente para um modelo de IA sem primeiro copiá-los para a memória do computador — causando latência e desperdício de energia.

Em julho, a Cloudian anunciou a expansão de seu sistema de armazenamento de objetos com um banco de dados vetorial, que armazena dados em um formato imediatamente disponível para uso em IA. À medida que os dados são inseridos, a Cloudian computa a forma vetorial dos dados em tempo real para dar suporte a ferramentas de IA, como mecanismos de recomendação, busca e assistentes virtuais.

A Cloudian também anunciou uma parceria com a NVIDIA para que seu sistema de armazenamento funcione diretamente com suas GPUs. A Cloudian afirmou que o novo sistema permite um processamento de IA mais rápido e custos de computação reduzidos.

“A NVIDIA nos procurou há cerca de um ano e meio porque as GPUs só são úteis quando há dados para alimentá-las”, disse Tso. “Agora as pessoas percebem que é mais fácil aplicar IA aos dados do que mover grandes volumes de dados. Nosso sistema de armazenamento possui muitas funções de IA integradas, então podemos pré-processar e pós-processar os dados perto de onde os coletamos e armazenamos.”

armazenamento priorizado por IA

A Cloudian está ajudando aproximadamente 1.000 empresas em todo o mundo a obter o máximo valor de seus dados, incluindo grandes fabricantes, instituições financeiras, instalações de saúde e agências governamentais.

Por exemplo, a plataforma de armazenamento da Cloudian está ajudando uma grande montadora a usar IA para determinar quando cada robô de produção precisa de manutenção. A Cloudian também tem parcerias com a Biblioteca Nacional de Medicina dos EUA para armazenar artigos de pesquisa e patentes, e com o Banco de Dados Nacional do Câncer para armazenar sequências de DNA de tumores — conjuntos de dados valiosos que a IA pode processar para auxiliar na pesquisa de novos tratamentos ou novas descobertas.

“As GPUs são um grande facilitador”, diz Tso. “A Lei de Moore prevê que a capacidade de processamento dobra a cada dois anos, mas as GPUs podem paralelizar tarefas em um chip, encadear várias GPUs e ir além da Lei de Moore. Essa escala está impulsionando a IA para novos níveis de inteligência, mas a única maneira de fazer com que as GPUs atinjam seu potencial máximo é fornecer dados na mesma taxa que sua capacidade de processamento — e a única maneira de fazer isso é remover todas as camadas entre a GPU e seus dados.”

(Segundo o MIT)

Fonte: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html