Según Dylan Patel, analista principal de la firma de análisis de semiconductores SemiAnalysis , los altos costos operativos de ChatGPT se deben a su costosa infraestructura. ChatGPT requiere una enorme capacidad de procesamiento para calcular las respuestas según las indicaciones del usuario. Patel basa sus estimaciones de costos en los costosos servidores necesarios para ejecutar el chatbot.
En una entrevista con BI , el experto sugirió que el costo actual es aún mayor porque su estimación inicial se basó en el modelo GPT-3 de OpenAI. El modelo más reciente, GPT-4, será más caro.
Si bien entrenar el modelo de lenguaje grande (LLM) de ChatGPT cuesta decenas de millones de dólares, los costos operativos o de inferencia son mucho mayores. Durante años, las empresas que utilizan los modelos de lenguaje de OpenAI han tenido que pagar grandes sumas. Por ejemplo, Nick Walton, director ejecutivo de la startup Latitude, reveló que el costo de ejecutar el modelo con servidores de Amazon Web Services era de aproximadamente $200,000 al mes en 2021. Por ello, cambió a otro proveedor de software de lenguaje para reducir el costo a la mitad.
Para reducir los costos de ejecución de modelos de IA generativa, Microsoft está desarrollando un chip de IA llamado Athena. Según The Information , el proyecto comenzó en 2019, pocos años después de que la compañía firmara un acuerdo de mil millones de dólares con OpenAI para que la startup utilizara únicamente servidores en la nube de Azure.
Microsoft busca dos objetivos: reconocer su retraso con respecto a Google y Amazon en el sector de los chips; y buscar una alternativa más económica a los chips de Nvidia. Más de 300 empleados de Microsoft trabajan en el chip, que podría estar disponible internamente el año que viene.
(Según BI)
[anuncio_2]
Fuente
Kommentar (0)