Imagem para a lição 70.png
Um sistema de armazenamento escalável para empresas, que permite um fluxo de dados contínuo entre o armazenamento e os modelos de IA. Foto: Midjourney

A inteligência artificial está mudando a forma como as empresas armazenam e acessam dados. Isso ocorre porque os sistemas tradicionais de armazenamento de dados foram projetados para lidar com comandos simples de poucos usuários simultaneamente, enquanto os sistemas de IA atuais, com milhões de agentes, precisam acessar e processar quantidades massivas de dados de forma contínua e paralela.

Os sistemas de armazenamento tradicionais agora possuem muitas camadas complexas, o que torna a IA mais lenta, pois os dados precisam passar por várias camadas antes de chegar à GPU — o processador gráfico, considerado o "cérebro" da IA.

A Cloudian – cofundada por Michael Tso (do MIT) e Hiroshi Ohta – está ajudando o armazenamento de dados a acompanhar a revolução da IA. A empresa desenvolveu um sistema de armazenamento escalável para empresas, permitindo um fluxo de dados contínuo entre o armazenamento e os modelos de IA.

Este sistema reduz a complexidade ao aplicar computação paralela ao armazenamento, consolidando a funcionalidade de IA e os dados em uma única plataforma de processamento paralelo capaz de armazenar, recuperar e processar conjuntos de dados em larga escala, com conectividade direta de alta velocidade entre o armazenamento e as GPUs e CPUs.

A plataforma integrada de armazenamento e computação da Cloudian simplifica o desenvolvimento de ferramentas de IA em escala comercial, ao mesmo tempo que fornece às empresas uma infraestrutura de armazenamento capaz de acompanhar o ritmo acelerado da IA.

“Uma coisa que as pessoas frequentemente ignoram sobre IA é que tudo gira em torno dos dados”, disse Tso. “Você não consegue aumentar o desempenho da IA ​​em 10% apenas com 10% mais dados, nem mesmo com 10 vezes mais dados — você precisa de 1.000 vezes mais dados. Armazenar dados de uma forma fácil de gerenciar, incorporando cálculos diretamente neles para que possam ser processados ​​assim que forem inseridos, sem precisar movê-los — essa é a direção para onde o setor está caminhando.”

Armazenamento de objetos e IA

Atualmente, a plataforma da Cloudian utiliza uma arquitetura de armazenamento de objetos, onde todos os tipos de dados — documentos, vídeos , dados de sensores — são armazenados como objetos individuais com metadados. O armazenamento de objetos consegue gerenciar grandes quantidades de dados em uma estrutura plana, ideal para dados não estruturados e sistemas de IA, mas anteriormente era impossível enviar dados diretamente para o modelo de IA sem primeiro copiá-los para a memória do computador — causando latência e alto consumo de energia.

Em julho passado, a Cloudian anunciou a expansão de seu sistema de armazenamento de objetos com um banco de dados vetorial, armazenando dados em um formato pronto para uso imediato em IA. Assim que os dados são carregados, a Cloudian realiza computações vetoriais em tempo real para dar suporte a ferramentas de IA, como mecanismos de recomendação, mecanismos de busca e assistentes virtuais.

A Cloudian também anunciou uma parceria com a NVIDIA para desenvolver um sistema de armazenamento que funciona diretamente com as GPUs da empresa. A Cloudian afirma que esse novo sistema permite um processamento de IA mais rápido e reduz os custos de computação.

“A NVIDIA entrou em contato conosco há cerca de um ano e meio porque as GPUs só são úteis quando há um fluxo contínuo de dados ‘alimentando’ elas”, disse Tso. “Agora as pessoas percebem que é mais fácil aplicar IA aos dados do que mover blocos de dados massivos. Nosso sistema de armazenamento integra muitas funções de IA, então podemos pré-processar e pós-processar os dados perto de onde os coletamos e armazenamos.”

Armazenamento preferencial para IA

A Cloudian está ajudando aproximadamente 1.000 empresas em todo o mundo a maximizar o valor de seus dados, incluindo grandes fabricantes, instituições financeiras, instalações de saúde e agências governamentais.

Por exemplo, a plataforma de armazenamento da Cloudian está dando suporte a uma grande montadora que utiliza IA para determinar quando a manutenção é necessária em robôs de produção individuais. A Cloudian também colabora com a Biblioteca Nacional de Medicina dos EUA para armazenar artigos de pesquisa e patentes, e com o Banco de Dados Nacional do Câncer para armazenar sequências de DNA tumoral — conjuntos de dados valiosos que a IA pode processar para apoiar pesquisas sobre novos tratamentos ou descobertas.

“As GPUs são uma força motriz fantástica”, disse Tso. “A Lei de Moore prevê que a capacidade de computação dobra a cada dois anos, mas as GPUs podem paralelizar tarefas em um chip, conectar várias GPUs e ir muito além da Lei de Moore. Essa escala está impulsionando a IA para novos níveis de inteligência, mas a única maneira de as GPUs funcionarem em sua capacidade máxima é fornecer dados a uma velocidade que corresponda à sua capacidade de computação – e a única maneira de fazer isso é eliminar todas as camadas intermediárias entre a GPU e seus dados.”

(Segundo o MIT)

Fonte: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html