Les solutions d'IA fleurissent : de bonnes pratiques se mettent en place, des frameworks deviennent populaires, le changement de LLM est moins contraignant...

Par contre, quand il faut aller en production afin de pouvoir héberger son propre LLM pour assurer la sécurité, il n'y a moins de monde.

Une solution intéressante est de s'appuyer sur les solutions Serverless avec du GPU pour passer moins de temps sur l'infrastructure et plus de temps ailleurs !

Durant ce talk, nous regarderons comment utiliser Cloud Run GPU de la plateforme Google Cloud pour déployer un LLM open (Gemma3).