Dans le domaine de l’intelligence artificielle, le contexte règne en maître. Ce principe reflète l’intelligence humaine, suggérant sa pertinence pour l’IA, étant donné notre création de celle-ci à notre image.
Actuellement, nous observons des entreprises comme NVIDIA défendre les usines IA – essentiellement, des supercalculateurs traitant des pétaoctets de données pour fournir des réponses intelligentes – comme un nouveau moyen de catalyser des changements importants dans l’économie et les cultures mondiales.
Mais comment sommes-nous arrivés à ce stade ? La réponse, comme toujours, réside dans une série de progrès incrémentaux.
Avant d’approfondir les spécificités des usines IA et leurs implications pour l’avenir des affaires et de la société, établissons un contexte fondamental.
La révolution néolithique : semer les graines de l’innovation
Il y a environ 12 000 ans, nos ancêtres sont passés de nomades chasseurs-cueilleurs à agriculteurs sédentaires, cultivant des plantes et élevant des animaux pour leur subsistance. L’agriculture représente une usine alimentaire rudimentaire, reposant sur la lumière du soleil, l’eau et l’air pour la croissance des plantes et des animaux. Le terme « firma », désignant un paiement de loyer fixe pour la culture de la terre au Moyen Âge, est devenu synonyme d’agriculture.
L’agriculture nécessitait des structures sociales hiérarchiques pour des opérations agricoles efficaces. L’écriture est apparue comme un outil administratif, facilitant le suivi des entrées et des sorties au sein de ces usines alimentaires et établissant des règles sociétales. Au fil du temps, l’écriture s’est étendue à divers domaines et reste un moyen puissant de transmettre des informations complexes.
À partir du moment où nous avons échangé arcs et lances contre des houes, des râteaux et des charrues, et inscrit les premiers glyphes symboliques dans l’argile ou la pierre, l’avènement de l’IA, et par conséquent, de l’usine IA, est devenu inévitable. Ce n’était qu’une question de temps.
La révolution industrielle : tracer la voie vers la production de masse
Pendant des millénaires, l’humanité a perfectionné ses compétences agricoles, produisant des excédents qui ont favorisé l’émergence d’une classe marchande – des individus engagés dans la fabrication de biens pour les autres, ou « manufacturing », dérivé du latin « un travail à la main ». Cela a conduit au développement de la monnaie, un moyen d’échange qui a accéléré le troc et l’a transformé en l’économie moderne. La mondialisation a interconnecté les économies régionales et nationales après l’ère des explorations.
Les vagues subséquentes de mondialisation ont remodelé à la fois l’agriculture et la fabrication. Un changement crucial dans les usines, les épicentres de la fabrication standardisée, impliquait de diviser le processus de production en étapes discrètes pour améliorer la vitesse et la répétabilité. Cette révolution industrielle a coïncidé avec les Lumières, caractérisées par des taux d’alphabétisation en flèche, car les usines avaient besoin de travailleurs instruits pour maximiser l’efficacité et minimiser le gaspillage. L’éducation est devenue une nécessité, favorisant la reconnaissance de l’émancipation, des droits de propriété privée, de la liberté de religion, de la sécurité, de la parole et du droit à des procès rapides.
Ces principes, évidents au XXIe siècle, doivent leur genèse au XVIIIe siècle.
Les usines ont amené la fabrication à l’intérieur, utilisant la vapeur et l’électricité pour alimenter les chaînes de montage et les techniques de production au plus juste. Cela a permis la production de biens à des prix abordables, élevant le niveau de vie et favorisant la croissance d’une classe moyenne, propulsant l’expansion économique au-delà des capacités des sociétés agricoles.
La révolution de l’IA : les données comme nouvelle frontière
L’avènement d’Internet a interconnecté les individus et a généré une nouvelle ressource : les données, prêtes pour une analyse perspicace.
La révolution de l’IA dépendait de la numérisation de vastes quantités de texte, d’images, de vidéo et d’audio, associée à une puissance de calcul abordable pour traiter ces données. Le big data, combiné à des GPU massivement parallèles et à une bande passante mémoire élevée, permet la création de réseaux neuronaux qui encodent notre compréhension du monde, permettant ainsi l’intelligence artificielle.
Essentiellement, le big data fournit la matière première pour que les algorithmes d’IA s’exécutant sur des moteurs GPU construisent des réseaux neuronaux fonctionnels.
Ces éléments doivent converger simultanément. Dans les années 1980, les chercheurs possédaient des algorithmes de réseaux neuronaux, mais manquaient des ressources de calcul et des données pour les mettre en œuvre. Par conséquent, l’IA est restée largement théorique jusqu’à ce que ces trois conditions soient remplies.
Usines d’IA : une transformation littérale
Le terme « usine d’IA » n’est pas une simple métaphore, mais un descripteur précis d’un supercalculateur d’IA moderne fonctionnant dans un environnement commercial. Il modifie fondamentalement l’informatique d’entreprise et l’analyse des données – la synthèse des données en informations exploitables.
L’usine d’IA est aussi inévitable que la révolution agricole, où l’effort collectif assurait la production alimentaire. Les changements sociétaux et culturels résultant de cette révolution ont accordé à l’humanité du temps libre pour la contemplation et l’innovation. Désormais, les machines peuvent accéder et traiter l’ensemble des connaissances humaines, permettant des recherches conversationnelles et l’application inverse d’algorithmes d’IA pour générer de nouvelles données dans divers formats.
Les entreprises et les particuliers auront accès aux usines d’IA, soit directement, soit par le biais d’accords de temps partagé. Ces usines d’IA généreront de nouvelles idées, visions et amplifieront les capacités créatives individuelles.
Le potentiel transformateur des usines d’IA est global. Les chatbots, les développeurs de moteurs de calcul parallèles pour l’entraînement et l’inférence de modèles, et les créateurs de modèles comme OpenAI, Anthropic, Google et Mistral conviennent que l’IA remodèlera tous les aspects de nos vies. Malgré les désaccords mondiaux sur diverses questions, l’impact transformateur de l’IA est universellement reconnu.
Fabrication d’informations et d’actions
Les usines d’IA remplissent deux fonctions principales. La première consiste à entraîner des modèles de base, produisant des informations pour l’amélioration des affaires et des personnes. La deuxième fonction, et la plus importante, consiste à alimenter de nouvelles données et questions dans ces modèles pour déduire de nouvelles réponses, générer de nouveaux jetons et susciter l’action.
Une grande partie de la discussion entourant l’IA s’est concentrée sur la formation de modèles de base en constante expansion, dotés de centaines de milliards à des milliers de milliards de paramètres et de vastes ensembles de données. Les décomptes de jetons indiquent l’étendue des connaissances, tandis que les paramètres reflètent la profondeur de la compréhension. Des nombres de paramètres plus petits associés à des ensembles de jetons plus grands produisent des réponses plus rapides et plus simples. Inversement, des nombres de paramètres plus importants et des ensembles de jetons plus petits fournissent des informations plus nuancées sur un domaine limité. Les modèles de raisonnement en chaîne de pensée, de nature multimodale, combinent des modèles spécialisés pour prendre en compte les sorties qui génèrent d’autres entrées, générant des réponses complètes.
Les usines d’IA utilisent tout le contenu créé par l’humanité et les données synthétiques générées par les modèles d’IA comme matière première. Les informations tirées de ces données sont exploitées par les humains et les agents d’IA pour susciter l’action. Au lieu de travailler à l’usine, les individus y accèdent, augmentant leurs compétences avec les connaissances et la vitesse des modèles d’IA pour obtenir des résultats plus nombreux, meilleurs et plus rapides.
Selon Jensen Huang, cofondateur et PDG de NVIDIA, « Le monde se précipite pour construire des usines d’IA à grande échelle et à la pointe de la technologie. » L’établissement d’une usine d’IA est une prouesse d’ingénierie extraordinaire, nécessitant de vastes ressources, de la main-d’œuvre et des matériaux.
La construction d’une usine d’IA entraîne un investissement en capital important. Une configuration typique comprend un NVIDIA DGX SuperPOD basé sur plusieurs racks de systèmes DGX, comprenant des GPU, des CPU, des interconnexions à haut débit et du stockage.
Avec de nombreux systèmes DGX, un SuperPOD offre des performances substantielles, offrant une capacité de mémoire et une bande passante considérables. Les performances peuvent être mises à l’échelle en ajoutant plus de systèmes.
Un autre plan de NVIDIA pour une usine d’IA est centré sur la plate-forme NVIDIA GB200 NVL72, un système à l’échelle du rack intégrant des GPU, des CPU, des DPU, des SuperNIC, NVLink et NVSwitch, et une mise en réseau à haut débit. Cette plate-forme offre un plus grand domaine de mémoire GPU partagée pour les modèles d’IA et une densité de calcul plus élevée, nécessitant un refroidissement liquide.
Le GB200 NVL72, livré en volume complet, représente un système autonome capable de construire des modèles et de générer des données dans divers formats.
Le GB200 NVL72 comprend un nœud de serveur MGX comprenant un NVIDIA Grace CPU associé à des GPU Blackwell. Deux de ces nœuds de serveur forment un plateau de calcul dans le rack NVL72, avec dix-huit plateaux de calcul hébergeant de nombreux GPU et CPU.
Le système à l’échelle du rack GB200 NVL72 combine les CPU Grace avec les GPU Blackwell, interconnectés via des connexions NVLink à haut débit. Les ports NVLink et les puces NVSwitch relient tous les GPU dans une configuration de mémoire partagée, idéale pour l’entraînement des modèles de base et l’inférence de la chaîne de pensée.
La structure NVLink, facilitée par neuf plateaux de commutation NVLink, permet l’accès à toutes les matrices GPU en tant que GPU unifié pour les applications d’IA.
Les systèmes GB200 NVL72 disposent de nombreux cœurs Arm pour le traitement hôte et d’une puissance de traitement en virgule flottante substantielle. Le système GB200 NVL72 dispose d’une mémoire HBM3e importante attachée aux GPU, avec une bande passante agrégée élevée. Les CPU Grace disposent d’une mémoire LPDDR5X, accessible via NVLink.
Le NVIDIA GB200 NVL72 reflète l’impact transformateur du System/360 sur le traitement des transactions en ligne, la principale différence étant l’évolutivité du NVL72 via les interconnexions InfiniBand.
Les configurations DGX SuperPOD basées sur les systèmes à l’échelle du rack NVL72 nécessitent une puissance considérable, mais offrent une puissance de calcul et une capacité de mémoire immenses sur plusieurs racks de calcul. Les performances peuvent être mises à l’échelle en ajoutant plus de racks.
La densité de calcul du rack NVL72 nécessite un refroidissement liquide spécialisé et une infrastructure de centre de données, ce qui représente un retour aux pratiques passées où les machines refroidies à l’eau maximisaient les performances.
Les usines d’IA exigeront beaucoup plus de puissance de calcul à mesure que l’inférence deviendra partie intégrante de diverses applications, en particulier avec le passage à des modèles de raisonnement en chaîne de pensée.
Les usines d’IA englobent non seulement le matériel, mais également les systèmes et les logiciels de développement.
Les systèmes DGX GB200 et les supercalculateurs d’IA DGX SuperPOD nécessitent une gestion et une modélisation, facilitées par des outils tels que NVIDIA Mission Control, qui orchestre les charges de travail d’IA et récupère automatiquement les tâches. Mission Control surveille l’état du système et optimise la consommation d’énergie.
NVIDIA AI Enterprise, la suite logicielle système, comprend des bibliothèques, des modèles et des frameworks optimisés pour les GPU et les réseaux NVIDIA. La pile d’usine d’IA comprend également NVIDIA Dynamo, un framework open source pour exécuter l’inférence sur l’infrastructure NVLink et DGX SuperPOD. DGX Expert Service and Support aide les clients à mettre en œuvre ces technologies, réduisant ainsi le temps nécessaire pour obtenir le premier jeton. NVIDIA propose des plans d’usine d’IA pour son environnement « jumeau numérique » Omniverse afin de simuler et d’optimiser la conception des centres de données.
Un aspect crucial des usines d’IA est le changement de mentalité qu’elles engendrent, NVIDIA accordant la priorité à la marge de manœuvre pour la croissance du système.
Selon Gilad Shainer, vice-président senior de la mise en réseau chez NVIDIA, « La génération de jetons équivaut désormais à la génération de revenus pour de nombreuses entreprises. » Les centres de données évoluent de centres de coûts à actifs productifs.
Et c’est, en fin de compte, l’essence même de la construction d’une usine.