GUIDE SERVEUR · DESSERVEUR.FR
Serveur IA locale : dimensionner un LLM
Exécuter un modèle de langage localement donne davantage de contrôle sur les données et les coûts, mais impose de dimensionner correctement mémoire système, VRAM et bande passante mémoire.
Poids du modèle et quantification
Le nombre de paramètres et la précision déterminent l’espace mémoire de base. La quantification réduit la mémoire requise au prix d’un compromis variable sur qualité et vitesse.
Contexte et KV cache
Allonger le contexte augmente la mémoire utilisée par le cache d’attention. Deux modèles de même taille peuvent donc avoir des besoins très différents selon longueur de contexte, batch et architecture.
CPU ou GPU
Le CPU peut exécuter des modèles quantifiés mais avec un débit limité. Un GPU apporte une bande passante mémoire élevée. Le critère le plus immédiat est souvent la quantité de VRAM disponible avant même la puissance de calcul brute.