Pourquoi l'IA a-t-elle besoin de cartes graphiques ?

Un modèle de langage est un très grand ensemble de nombres, ses paramètres, rangés en tableaux, les matrices. Le calcul qui suit vaut pour un modèle dit dense, qui utilise tous ses paramètres pour chaque mot ; les modèles à mélange d'experts n'en utilisent qu'une partie, par exemple 13 milliards sur 47 pour Mixtral 8x7B de Mistral AI. Pour écrire un mot, plus exactement un morceau de mot, le modèle fait passer la suite du texte à travers ces tableaux : chaque paramètre y est multiplié par un nombre, puis le résultat est additionné aux autres. Le guide de Nvidia sur ce calcul le résume ainsi : chaque multiplication suivie d'une addition compte pour 2 opérations.

Pour un modèle de 70 milliards de paramètres, cela fait environ 140 milliards d'opérations par mot. Ces opérations sont indépendantes les unes des autres et peuvent se faire en même temps. C'est le travail pour lequel les cartes graphiques ont été conçues, à l'origine pour calculer en parallèle les points d'une image, et qu'elles font aujourd'hui pour les réseaux de neurones.

La carte H100 de Nvidia, dans sa version SXM montée par 8 dans les serveurs d'IA, porte une puce de 80 milliards de transistors, gravée par TSMC. Elle compte 16 896 cœurs de calcul et 528 cœurs spécialisés dans les produits de matrices, que Nvidia appelle Tensor Cores. Ses Tensor Cores font jusqu'à 989 000 milliards d'opérations par seconde sur des nombres de 16 bits, le double sur des nombres de 8 bits. Début 2025, la génération de la H100 et de ses variantes représentait 77 % de la puissance de calcul de toutes les puces d'IA de Nvidia en service, selon Epoch AI.

Un processeur d'ordinateur ou de serveur sait enchaîner des tâches variées, mais il mène beaucoup moins d'opérations de front. Pour un réseau de neurones, où les mêmes opérations se répètent sur des milliards de nombres, le nombre d'opérations menées en même temps l'emporte.

Pour écrire chaque mot, la carte doit relire tous les paramètres d'un modèle dense dans sa mémoire. Une H100 porte 80 Go de mémoire HBM3, empilée autour de la puce, qu'elle lit à 3,35 téraoctets par seconde. Un modèle de 70 milliards de paramètres stockés sur 16 bits, soit 2 octets chacun, occupe 140 Go : il lui faut au moins 2 cartes.

Notre calcul, en ordre de grandeur, pour une seule demande à la fois sur ces 2 cartes : relire les 140 Go prend environ 21 millièmes de seconde, et faire les 140 milliards d'opérations environ 70 millionièmes de seconde. La carte attend donc sa mémoire environ 300 fois plus longtemps qu'elle ne calcule. Le guide de Nvidia écrit qu'un produit d'une matrice par un vecteur est toujours limité par la mémoire ; c'est la forme du calcul quand on écrit un seul mot pour une seule demande.

C'est pourquoi les services d'IA regroupent les demandes de nombreux utilisateurs : une même lecture des paramètres sert alors à écrire un mot pour chacune d'elles, et l'électricité par demande baisse. Notre analyse sur l'IA installée sur son ordinateur mesure cet effet. La mémoire est aussi le premier poste de fabrication de la carte mère H100 selon Nvidia, avec 42 % des émissions, devant les puces, 25 %.

Une H100 SXM a une puissance nominale de 700 W. Elle ne travaille pas seule : le serveur DGX H100 de Nvidia, qui en réunit 8, consomme au plus 10,2 kW avec ses processeurs, sa mémoire, son réseau et ses ventilateurs, soit 1 275 W par carte. Les mesures publiées par des chercheurs de Microsoft sur la génération précédente trouvent une puissance qui atteint ou dépasse la puissance nominale quand le modèle lit la demande, et plus basse quand il écrit la réponse.

La Base Impact de l'IA retient 900 Wh pour une heure de carte, 70 % de la part de la carte dans la puissance maximale du serveur, 1 275 W, la charge moyenne que retient Epoch AI. Avec le refroidissement et le reste du centre de données, l'heure atteint 0,99 kWh, soit 0,45 kgCO2e avec l'électricité moyenne du monde, autant que 3 km en voiture thermique, construction de la voiture comprise, sans la fabrication du serveur. Ce sont des estimations : aucune mesure de la consommation moyenne d'une H100 en service n'a été publiée.

Nvidia a publié en 2025 l'empreinte de fabrication de sa carte mère HGX H100, qui porte 8 cartes : 1 312 kgCO2e, de l'extraction des matières à l'assemblage, soit 164 kgCO2e par carte. La mémoire en est le premier poste, avec 42 %, devant les puces de calcul et de réseau, 25 %. L'ADEME, avec son propre modèle, estime une carte H100 seule à 235 kgCO2e, et note que la méthode de Nvidia est peu transparente.

Matériel

Fabrication d'un serveur d'IA, par composant

Carte mère Nvidia HGX H100 à 8 cartes graphiques, 1 312 kgCO2e, part de chaque composant · Fiche publiée par Nvidia

Mémoire42%

Circuits intégrés25%

Refroidissement18%

Assemblage9%

Électromécanique4%

Autres3%

Source : Nvidia, HGX H100 Product Carbon Footprint · projetcelsius.com/ia · CC BY 4.0

PNGCSV

Le serveur entier émet davantage à fabriquer que sa carte mère et ses 8 cartes, d'après une étude simplifiée de GreenIT. GreenIT estime la fabrication, la distribution et la fin de vie d'un serveur d'entrée de gamme à 8 H100 à 8 341 kgCO2e, environ 1 000 kg par carte. Répartie sur 5 ans de service utilisés à 69 %, cette fabrication représente environ 35 gCO2e par heure de carte, soit environ 8 % de plus que l'électricité de l'heure avec l'électricité moyenne du monde, et 17 % avec celle de l'Union européenne.

Epoch AI estime, à partir des résultats financiers de Nvidia, que l'entreprise a livré environ 4,5 millions de cartes de centre de données en 2025, contre 1,3 million en 2023. La puissance maximale des cartes livrées en 2025 atteint à elle seule 4,9 GW, sans les serveurs ni le refroidissement. Ce sont des estimations, avec une incertitude qui atteint souvent un facteur 2. Greenpeace Asie de l'Est estime l'électricité consommée pour fabriquer les puces d'IA à 218 GWh en 2023 pour Nvidia seul, et à 983,9 GWh en 2024 pour Nvidia et AMD ; le graphique de l'électricité de fabrication des puces montre ces 2 années et la part de la hausse qui vient de l'ajout d'AMD.

Pour nous, au Projet Celsius, la carte graphique éclaire 2 traits de l'empreinte de l'IA. Le premier : avec l'électricité moyenne du monde, l'électricité d'une heure de carte émet environ 13 fois plus que la part de fabrication du serveur qui lui revient, et environ 6 fois plus avec celle de l'Union européenne ; la taille du modèle et le nombre de demandes servies fixent le nombre de cartes mobilisées. Le second : la mémoire limite la vitesse d'écriture, et elle est aussi le premier poste de fabrication de la carte mère H100 selon Nvidia (42 %) comme de la génération suivante, la HGX B200 (49 %), dont la fabrication émet 1,7 fois plus. Ces chiffres viennent des fiches de Nvidia, les seules publiées pour ces cartes.