Ups! 🙃
Se me ha ido un punto de inferencia de las manos! 😄
Lo que empezó como un setup simple para inferencia con NVIDIA H100 se convirtió en €284 en menos de un día
Lección aprendida: Vertex AI es fácil y sencillo, pero caro, muy caro, si no lo monitoreas (repite Víctor: monitorear, monitorear, monitorear) y sobre todo matar el punto de inferencia antes de irte a dormir
El calculo de lo que ha valido la noche:
4 NVIDIA L4 + 1 NVIDIA H100: ~$6.24 (L4) + $13.38 (H100) = $19.62 por hora
19,62 * 14 horicas que deje esto levantado pues da aprox. lo que veis en la foto (menos mal que no fue todo el fin de semana ^^)
Qué dicen las buenas prácticas (las cuales me las he saltado):
- Configurar alertas de presupuesto desde el principio
- No se te olvide hacer el undeploy del modelo y endpoint cada vez que termines de trabajar (undeploy-model)
- Optar por opciones más económicas como A100 o TPUs si el workload lo permite (no era mi caso)
Tenía que pasar alguna vez (no es la primera) y pasó, qué se le va a hacer... shit happens
#billing #malasuerte #googlecloud