Искусственный интеллект меняет способы хранения и доступа к данным в бизнесе. Это связано с тем, что традиционные системы хранения данных были разработаны для обработки простых команд от нескольких пользователей одновременно, тогда как современные системы ИИ с миллионами агентов должны непрерывно и параллельно получать доступ к огромным объемам данных и обрабатывать их.
Традиционные системы хранения данных теперь имеют множество сложных уровней, что замедляет работу ИИ, поскольку данные должны пройти через несколько уровней, прежде чем достигнут графического процессора (GPU), который считается «мозгом» ИИ.
Компания Cloudian, основанная Майклом Цо (выпускником MIT) и Хироши Отой, помогает системам хранения данных идти в ногу с революцией в области искусственного интеллекта. Компания разработала масштабируемую систему хранения данных для предприятий, обеспечивающую бесперебойный поток данных между хранилищем и моделями ИИ.
Эта система снижает сложность за счет применения параллельных вычислений к хранилищу, объединяя функциональность ИИ и данные на единой платформе параллельной обработки, способной хранить, извлекать и обрабатывать крупномасштабные наборы данных, с высокоскоростным прямым соединением между хранилищем и графическими процессорами (GPU) и центральными процессорами (CPU).
Интегрированная платформа хранения и вычислений Cloudian упрощает разработку коммерческих инструментов искусственного интеллекта, предоставляя предприятиям инфраструктуру хранения данных, способную идти в ногу с бурным развитием ИИ.
«Часто упускают из виду один важный момент в отношении ИИ: все дело в данных», — сказал Цо. «Нельзя повысить производительность ИИ на 10% просто за счет увеличения объема данных на 10%, даже не в 10 раз — необходимо в 1000 раз больше данных. Хранение данных таким образом, чтобы ими было легко управлять, и встраивание вычислений непосредственно в них, чтобы их можно было обрабатывать сразу после ввода, без необходимости перемещения — вот в каком направлении движется отрасль».
Объектное хранилище и ИИ
В настоящее время платформа Cloudian использует архитектуру объектного хранения, где все типы данных — документы, видео , данные с датчиков — хранятся в виде отдельных объектов с метаданными. Объектное хранение позволяет управлять огромными объемами данных в плоской структуре, что идеально подходит для неструктурированных данных и систем искусственного интеллекта, но ранее было невозможно отправлять данные непосредственно в модель ИИ без предварительного копирования их в оперативную память компьютера, что приводило к задержкам и высокому энергопотреблению.
В июле прошлого года компания Cloudian объявила о расширении своей системы объектного хранения за счет векторной базы данных, хранящей данные в формате, готовом для немедленного использования в системах искусственного интеллекта. После загрузки данных Cloudian выполняет векторные вычисления в реальном времени для поддержки инструментов ИИ, таких как рекомендательные системы, поисковые системы и ИИ-помощники.
Компания Cloudian также объявила о партнерстве с NVIDIA для разработки системы хранения данных, которая работает напрямую с графическими процессорами компании. По словам Cloudian, эта новая система обеспечивает более быструю обработку данных в рамках искусственного интеллекта и снижает вычислительные затраты.
«Компания NVIDIA обратилась к нам около полутора лет назад, потому что графические процессоры полезны только тогда, когда к ним поступает непрерывный поток данных, — сказал Цо. — Теперь люди понимают, что внедрить ИИ в работу с данными проще, чем перемещать огромные блоки данных. Наша система хранения данных интегрирует множество функций ИИ, поэтому мы можем предварительно и постобрабатывать данные рядом с местом их сбора и хранения».
предпочтительное хранилище для ИИ
Компания Cloudian помогает примерно 1000 компаниям по всему миру максимально эффективно использовать свои данные, включая крупные производственные предприятия, финансовые учреждения, медицинские учреждения и государственные органы.
Например, платформа хранения данных Cloudian помогает крупному автопроизводителю использовать ИИ для определения необходимости технического обслуживания отдельных производственных роботов. Cloudian также сотрудничает с Национальной медицинской библиотекой США для хранения научных статей и патентов, а также с Национальной базой данных по раку для хранения последовательностей ДНК опухолей — обширных наборов данных, которые ИИ может обрабатывать для поддержки исследований в области новых методов лечения или открытий.
«Графические процессоры — это фантастическая движущая сила», — сказал Цо. «Закон Мура удваивает вычислительную мощность каждые два года, но графические процессоры могут распараллеливать задачи на одном чипе, соединять несколько графических процессоров вместе и выходить далеко за рамки закона Мура. Такой масштаб выводит искусственный интеллект на новый уровень интеллекта, но единственный способ для графических процессоров работать на полную мощность — это передавать данные со скоростью, соответствующей их вычислительной мощности, а единственный способ сделать это — устранить все промежуточные звенья между графическим процессором и вашими данными».
(По данным Массачусетского технологического института)
Источник: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html
Комментарий (0)