El problema
En la period de la IA generativa y los modelos de lenguaje grande (LLMS), el acceso al cálculo de GPU es el nuevo aceite. El precio de GPU es volátil, opaco y disperso en un mercado fragmentado de proveedores de nubes. Para los equipos que implementan tuberías de inferencia a escala, estas fluctuaciones de costos no son solo una molestia, son un riesgo financiero y operativo.
Por ejemplo, echemos un vistazo a los precios puntuales para P5.48xLarge (8 x nvidia H100) en AWS en los últimos 6 meses:
Estocolmo (EU-North-1) Actualmente ejecuta H100 en aproximadamente $ 1.1 por GPU por hora mientras Londres (UE-West-2) paga casi $ 3.7 por GPU por hora. Si Brexit no ha golpeado el Reino Unido lo suficientemente fuerte, ¡AWS está cobrando casi 3 veces más por ejecutar H100 en el Reino Unido! El mayor costo en Londres también es una indicación de que los recursos de GPU son más estrictos en Londres que Estocolmo y, por lo tanto, aprovisionar los 8 H100 será más desafiante para las instancias spot e “bajo demanda”.
Esto no está aislado a H100s, pero también afecta el {hardware} de GPU más barato como la instancia G4DN.XLARGE, una sola GPU NVIDIA T4:
que cuesta alrededor $ 0.07 por GPU por hora en Me-South-1 (Bahrein) mientras Singapur (AP-Southeast-1) están pagando $ 0.28 por GPU por hora para el mismo servicio. En GordianLabs, a menudo vemos la diferencia de costo de 2-4x en los centros de datos de un solo proveedor.
El precio de la GPU en la nube es un objetivo móvil. Dependiendo del proveedor, la región y el tipo de instancia, los precios de instancia spot pueden balancearse 2x – 5x En cuestión de días. Los precios a pedido y reservados también varían, con transparencia limitada en la oferta, la demanda o las tendencias subyacentes.
Esto lleva a:
- Sobrecosto En carreras de entrenamiento
- Implementaciones retrasadas Debido a las interrupciones de instancia de Spot
- Ahorros perdidos de la mala selección regional
La mayoría de los equipos reaccionan a los costos de GPU después del hecho, cuando llega el proyecto de ley. GordianLabs.ai voltea este modelo prediciendo los costos antes Giras una sola instancia.
La solución
GordianLabs usa Expertos en IA líderes en el mundo y más de Puntos de datos de 55m de datos de precios en la nube para predecir los precios futuros de la GPU de 1 día a 3 meses de anticipación.
Servimos estas predicciones en una API easy, que puede conectarse a su infraestructura existente. Envíenos un correo electrónico – [email protected] Si desea ahorrar más del 50% en su presupuesto de GPU.
