imagen para la lección 70.png
Un sistema de almacenamiento escalable para empresas que permite un flujo de datos fluido entre el almacenamiento y los modelos de IA. Foto: Midjourney

La inteligencia artificial está transformando la forma en que las empresas almacenan y acceden a los datos. Esto se debe a que los sistemas de almacenamiento de datos tradicionales fueron diseñados para gestionar comandos sencillos de unos pocos usuarios simultáneamente, mientras que los sistemas de IA actuales, con millones de agentes, necesitan acceder y procesar enormes cantidades de datos de forma continua y en paralelo.

Los sistemas de almacenamiento tradicionales ahora tienen muchas capas complejas, lo que ralentiza la IA porque los datos tienen que pasar por múltiples capas antes de llegar a la GPU, el procesador gráfico, considerado el "cerebro" de la IA.

Cloudian, cofundada por Michael Tso (del MIT) y Hiroshi Ohta, ayuda al almacenamiento de datos a mantenerse al día con la revolución de la IA. La compañía ha desarrollado un sistema de almacenamiento escalable para empresas, que permite un flujo de datos fluido entre el almacenamiento y los modelos de IA.

Este sistema reduce la complejidad al aplicar la computación paralela al almacenamiento, consolidando la funcionalidad de IA y los datos en una única plataforma de procesamiento paralelo capaz de almacenar, recuperar y procesar conjuntos de datos a gran escala, con conectividad directa de alta velocidad entre el almacenamiento y las GPU y CPU.

La plataforma integrada de almacenamiento y computación de Cloudian simplifica el desarrollo de herramientas de IA a escala comercial, al tiempo que proporciona a las empresas una infraestructura de almacenamiento capaz de seguir el ritmo del auge de la IA.

“Algo que la gente suele pasar por alto sobre la IA es que todo gira en torno a los datos”, dijo Tso. “No se puede aumentar el rendimiento de la IA en un 10 % solo con tener un 10 % más de datos, ni siquiera diez veces más datos; se necesitan mil veces más datos. Almacenar los datos de una manera que sea fácil de administrar, integrando los cálculos directamente en ellos para que puedan procesarse tan pronto como se ingresen sin tener que moverlos: esa es la dirección hacia la que se dirige la industria”.

Almacenamiento de objetos e IA

Actualmente, la plataforma de Cloudian utiliza una arquitectura de almacenamiento de objetos, donde todos los tipos de datos (documentos, vídeos , datos de sensores) se almacenan como objetos individuales con metadatos. El almacenamiento de objetos puede gestionar grandes cantidades de datos en una estructura plana, ideal para datos no estructurados y sistemas de IA, pero anteriormente era imposible enviar datos directamente al modelo de IA sin copiarlos primero a la memoria del ordenador, lo que provocaba latencia y un alto consumo de energía.

En julio pasado, Cloudian anunció la ampliación de su sistema de almacenamiento de objetos con una base de datos vectorial, que almacena datos en un formato listo para su uso inmediato por parte de la IA. Una vez cargados los datos, Cloudian realiza cálculos vectoriales en tiempo real para dar soporte a herramientas de IA como sistemas de recomendación, motores de búsqueda y asistentes de IA.

Cloudian también anunció una alianza con NVIDIA para desarrollar un sistema de almacenamiento que funcione directamente con las GPU de la compañía. Cloudian afirma que este nuevo sistema permite un procesamiento de IA más rápido y reduce los costos de computación.

“NVIDIA nos contactó hace aproximadamente un año y medio porque las GPU solo son útiles cuando reciben un flujo continuo de datos”, dijo Tso. “Ahora la gente se da cuenta de que es más fácil aplicar IA a los datos que mover enormes bloques de datos. Nuestro sistema de almacenamiento integra muchas funciones de IA, por lo que podemos preprocesar y posprocesar los datos cerca de donde los recopilamos y almacenamos”.

Almacenamiento preferido por la IA

Cloudian ayuda a aproximadamente 1.000 empresas en todo el mundo a maximizar el valor de sus datos, entre ellas importantes fabricantes, instituciones financieras, centros sanitarios y agencias gubernamentales.

Por ejemplo, la plataforma de almacenamiento de Cloudian presta soporte a un importante fabricante de automóviles que utiliza inteligencia artificial para determinar cuándo se necesita mantenimiento en cada robot de producción. Cloudian también colabora con la Biblioteca Nacional de Medicina de EE. UU. para almacenar artículos de investigación y patentes, y con la Base de Datos Nacional del Cáncer para almacenar secuencias de ADN tumoral: conjuntos de datos valiosos que la IA puede procesar para respaldar la investigación de nuevos tratamientos o descubrimientos.

«Las GPU son una fuerza impulsora fantástica», dijo Tso. «La Ley de Moore duplica la potencia de cálculo cada dos años, pero las GPU pueden paralelizar tareas en un chip, conectar varias GPU entre sí e ir mucho más allá de la Ley de Moore. Esta escala está llevando la IA a nuevos niveles de inteligencia, pero la única manera de que las GPU funcionen a plena capacidad es que entreguen datos a una velocidad acorde con su potencia de cálculo, y la única manera de lograrlo es eliminando todas las capas intermedias entre la GPU y los datos».

(Según el MIT)

Fuente: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html