Die Neolithische Revolution: Die Saat der Innovation säen
Vor etwa 12.000 Jahren vollzogen unsere Vorfahren den Übergang von nomadischen Jägern und Sammlern zu sesshaften Landwirten, die Pflanzen anbauten und Tiere zur Selbstversorgung hielten. Die Landwirtschaft, oder das Ackerwesen, stellt eine rudimentäre Nahrungsmittelfabrik dar, die sich auf Sonnenlicht, Wasser und Luft für das Pflanzen- und Tierwachstum verlässt. Der Begriff ‘Firma’, der im Mittelalter eine feste Mietzahlung für die Landkultivierung bezeichnete, wurde zum Synonym für Landwirtschaft.
Die Landwirtschaft erforderte hierarchische soziale Strukturen für einen effizienten landwirtschaftlichen Betrieb. Die Schrift entstand als administratives Werkzeug, das die Verfolgung von Inputs und Outputs innerhalb dieser Nahrungsmittelfabriken erleichterte und gesellschaftliche Regeln festlegte. Im Laufe der Zeit dehnte sich die Schrift auf verschiedene Bereiche aus und bleibt ein wirksames Mittel zur Vermittlung komplexer Informationen.
Von dem Moment an, als wir Bogen und Speere gegen Hacken, Rechen und Pflüge eintauschten und die ersten symbolischen Glyphen in Ton oder Stein ritzten, wurde das Aufkommen der KI und folglich der KI-Fabrik unvermeidlich. Es war lediglich eine Frage der Zeit.
Die Industrielle Revolution: Den Weg für die Massenproduktion ebnen
Über Jahrtausende verfeinerte die Menschheit ihre landwirtschaftlichen Fähigkeiten und erzielte Überschüsse, die die Entstehung einer Händlerklasse förderten – Individuen, die sich mit der Herstellung von Gütern für andere beschäftigten, oder ‘Fertigung’, abgeleitet vom lateinischen ‘a work by hand’. Dies führte zur Entwicklung von Geld, einem Austauschmittel, das den Tauschhandel beschleunigte und ihn in die moderne Wirtschaft verwandelte. Die Globalisierung vernetzte regionale und nationale Volkswirtschaften nach dem Zeitalter der Entdeckungen.
Nachfolgende Globalisierungswellen veränderten sowohl die Landwirtschaft als auch die Fertigung. Eine entscheidende Verlagerung in Fabriken, den Epizentren der standardisierten Fertigung, umfasste die Aufteilung des Produktionsprozesses in diskrete Schritte, um die Geschwindigkeit und Wiederholbarkeit zu verbessern. Diese Industrielle Revolution fiel mit der Aufklärung zusammen, die durch steigende Alphabetisierungsraten gekennzeichnet war, da Fabriken gebildete Arbeiter benötigten, um die Effizienz zu maximieren und Abfall zu minimieren. Bildung wurde zur Notwendigkeit und förderte die Anerkennung von Wahlrechten, privaten Eigentumsrechten, Religionsfreiheit, Sicherheit, Redefreiheit und dem Recht auf ein schnelles Gerichtsverfahren.
Diese Prinzipien, die im 21. Jahrhundert selbstverständlich sind, verdanken ihre Entstehung dem 18. Jahrhundert.
Fabriken brachten die Fertigung ins Innere und nutzten Dampf und Elektrizität, um Fließbänder und Lean-Manufacturing-Techniken anzutreiben. Dies ermöglichte die Produktion von Gütern zu erschwinglichen Preisen, verbesserte den Lebensstandard und förderte das Wachstum einer Mittelschicht, wodurch die wirtschaftliche Expansion über die Möglichkeiten landwirtschaftlicher Gesellschaften hinaus vorangetrieben wurde.
Die KI-Revolution: Daten als neue Grenze
Das Aufkommen des Internets vernetzte Einzelpersonen und schuf eine neue Ressource: Daten, reif für aufschlussreiche Analysen.
Die KI-Revolution hing von der Digitalisierung riesiger Mengen an Text, Bildern, Videos und Audio ab, verbunden mit erschwinglicher Rechenleistung zur Verarbeitung dieser Daten. Big Data ermöglicht in Kombination mit massiv parallelen GPUs und hoher Speicherbandbreite die Erstellung neuronaler Netze, die unser Verständnis der Welt kodieren und so künstliche Intelligenz ermöglichen.
Im Wesentlichen liefern Big Data das Rohmaterial für KI-Algorithmen, die auf GPU-Engines laufen, um funktionale neuronale Netze aufzubauen.
Diese Elemente müssen gleichzeitig konvergieren. In den 1980er Jahren verfügten Forscher über neuronale Netzalgorithmen, aber es fehlten die Rechenressourcen und Daten, um sie zu implementieren. Folglich blieb KI weitgehend theoretisch, bis diese drei Bedingungen erfüllt waren.
KI-Fabriken: Eine wörtliche Transformation
Der Begriff ‘KI-Fabrik’ ist keine bloße Metapher, sondern eine präzise Beschreibung eines modernen KI-Supercomputers, der in einem kommerziellen Umfeld arbeitet. Er verändert grundlegend das Corporate Computing und die Datenanalyse – die Synthese von Daten zu verwertbaren Informationen.
Die KI-Fabrik ist so unvermeidlich wie die landwirtschaftliche Revolution, bei der die kollektive Anstrengung die Nahrungsmittelproduktion sicherstellte. Gesellschaftliche und kulturelle Veränderungen, die sich aus dieser Revolution ergaben, gewährten der Menschheit Mußezeit für Kontemplation und Innovation. Jetzt können Maschinen auf die Gesamtheit des menschlichen Wissens zugreifen und es verarbeiten, was Konversationssuchen und die umgekehrte Anwendung von KI-Algorithmen zur Generierung neuer Daten in verschiedenen Formaten ermöglicht.
Unternehmen und Einzelpersonen werden entweder direkt oder durch Time-Sharing-Vereinbarungen Zugang zu KI-Fabriken haben. Diese KI-Fabriken werden neuartige Ideen und Visionen generieren und die individuellen kreativen Fähigkeiten erweitern.
Das transformative Potenzial von KI-Fabriken ist allumfassend. Die Chatbots, die Entwickler von parallelen Rechenmaschinen für Modelltraining und -inferenz sowie Modellschöpfer wie OpenAI, Anthropic, Google und Mistral stimmen darin überein, dass KI jeden Aspekt unseres Lebens verändern wird. Trotz globaler Meinungsverschiedenheiten zu verschiedenen Themen wird der transformative Einfluss von KI allgemein anerkannt.
Fertigung von Erkenntnissen und Maßnahmen
KI-Fabriken erfüllen zwei Hauptfunktionen. Die erste besteht darin, Basemodelle zu trainieren, die Erkenntnisse für die geschäftliche und persönliche Verbesserung liefern. Die zweite und bedeutendere Funktion besteht darin, neue Daten und Fragen in diese Modelle einzuspeisen, um neue Antworten abzuleiten, neue Token zu generieren und Maßnahmen voranzutreiben.
Ein Großteil der Diskussion um KI hat sich auf das Training immer größerer Basemodelle konzentriert, die Hunderte von Milliarden bis Billionen von Parametern und riesige Datensätze aufweisen. Token-Anzahlen geben die Breite des Wissens an, während Parameter die Tiefe des Verständnisses widerspiegeln. Kleinere Parameterzahlen in Verbindung mit größeren Token-Sätzen liefern schnellere, einfachere Antworten. Umgekehrt liefern größere Parameterzahlen und kleinere Token-Sätze differenziertere Einblicke in einen begrenzten Bereich. Chain-of-Thought-Reasoning-Modelle, die multimodaler Natur sind, kombinieren spezialisierte Modelle, um Ausgaben zu berücksichtigen, die andere Eingaben antreiben, wodurch umfassende Antworten generiert werden.
KI-Fabriken nutzen alle von der Menschheit erstellten Inhalte und synthetischen Daten, die von KI-Modellen generiert werden, als Rohmaterial. Die aus diesen Daten gewonnenen Erkenntnisse werden von Menschen und KI-Agenten genutzt, um Maßnahmen voranzutreiben. Anstatt in der Fabrik zu arbeiten, greifen Einzelpersonen darauf zu und erweitern ihre Fähigkeiten mit dem Wissen und der Geschwindigkeit von KI-Modellen, um mehr, bessere und schnellere Ergebnisse zu erzielen.
Laut Jensen Huang, Mitbegründer und CEO von NVIDIA, ‘Die Welt wetteifert darum, hochmoderne, groß angelegte KI-Fabriken zu bauen’. Die Einrichtung einer KI-Fabrik ist eine außergewöhnliche technische Leistung, die riesige Ressourcen, Arbeitskräfte und Material erfordert.
Der Bau einer KI-Fabrik erfordert erhebliche Kapitalinvestitionen. Eine typische Konfiguration umfasst einen NVIDIA DGX SuperPOD, der auf mehreren Racks von DGX-Systemen basiert und GPUs, CPUs, Hochgeschwindigkeitsverbindungen und Speicher enthält.
Mit zahlreichen DGX-Systemen bietet ein SuperPOD eine erhebliche Leistung mit beträchtlicher Speicherkapazität und Bandbreite. Die Leistung kann durch Hinzufügen weiterer Systeme skaliert werden.
Ein weiterer NVIDIA-Blueprint für eine KI-Fabrik konzentriert sich auf die NVIDIA GB200 NVL72-Plattform, ein Rackscale-System, das GPUs, CPUs, DPUs, SuperNICs, NVLink und NVSwitch sowie Hochgeschwindigkeitsnetzwerke integriert. Diese Plattform bietet einen größeren gemeinsam genutzten GPU-Speicherbereich für KI-Modelle und eine höhere Rechendichte, was eine Flüssigkeitskühlung erforderlich macht.
Die GB200 NVL72, die in vollem Umfang ausgeliefert wird, stellt ein in sich geschlossenes System dar, das in der Lage ist, Modelle zu erstellen und Daten in verschiedenen Formaten zu generieren.
Die GB200 NVL72 umfasst einen MGX-Serverknoten mit einer NVIDIA Grace CPU in Kombination mit Blackwell GPUs. Zwei dieser Serverknoten bilden eine Compute Tray innerhalb des NVL72-Racks, wobei achtzehn Compute Trays zahlreiche GPUs und CPUs beherbergen.
Das GB200 NVL72 Rackscale-System kombiniert Grace CPUs mit Blackwell GPUs, die über Hochgeschwindigkeits-NVLink-Verbindungen verbunden sind. Die NVLink-Ports und NVSwitch-Chips verbinden alle GPUs in einer gemeinsam genutzten Speicherkonfiguration, die ideal für das Training von Basemodellen und Chain-of-Thought-Inferenz ist.
Das NVLink-Fabric, das durch neun NVLink-Switch-Trays ermöglicht wird, ermöglicht den Zugriff auf alle GPU-Dies als Unified GPU für KI-Anwendungen.
GB200 NVL72-Systeme verfügen über zahlreiche Arm-Kerne für die Host-Verarbeitung und eine beträchtliche Floating-Point-Verarbeitungsleistung. Das GB200 NVL72-System verfügt über einen beträchtlichen HBM3e-Speicher, der an die GPUs angeschlossen ist, mit hoher aggregierter Bandbreite. Die Grace CPUs verfügen über LPDDR5X-Speicher, auf den über NVLink zugegriffen werden kann.
Die NVIDIA GB200 NVL72 spiegelt die transformative Wirkung des System/360 auf die Online-Transaktionsverarbeitung wider, wobei der Hauptunterschied in der Skalierbarkeit der NVL72 über InfiniBand-Verbindungen liegt.
DGX SuperPOD-Konfigurationen, die auf NVL72 Rackscale-Systemen basieren, erfordern einen erheblichen Stromverbrauch, bieten aber eine immense Rechenleistung und Speicherkapazität über mehrere Compute Racks hinweg. Die Leistung kann durch Hinzufügen weiterer Racks skaliert werden.
Die Rechendichte des NVL72-Racks erfordert eine spezielle Flüssigkeitskühlung und eine Rechenzentrumsinfrastruktur, was eine Rückkehr zu früheren Praktiken darstellt, bei denen wassergekühlte Maschinen die Leistung maximierten.
KI-Fabriken werden deutlich mehr Rechenleistung benötigen, da die Inferenz zu einem integralen Bestandteil verschiedener Anwendungen wird, insbesondere mit der Verlagerung hin zu Chain-of-Thought-Reasoning-Modellen.
KI-Fabriken umfassen nicht nur Hardware, sondern auch Systeme und Entwicklungssoftware.
DGX GB200-Systeme und DGX SuperPOD KI-Supercomputer erfordern Management und Modellierung, die durch Tools wie NVIDIA Mission Control ermöglicht werden, das KI-Workloads orchestriert und Jobs automatisch wiederherstellt. Mission Control überwacht den Systemzustand und optimiert den Stromverbrauch.
NVIDIA AI Enterprise, die Systemsoftware-Suite, umfasst Bibliotheken, Modelle und Frameworks, die für NVIDIA GPUs und Netzwerke optimiert sind. Der KI-Fabrik-Stack enthält auch NVIDIA Dynamo, ein Open-Source-Framework zum Ausführen von Inferenz über NVLink- und DGX SuperPOD-Infrastruktur hinweg. DGX Expert Service and Support unterstützt Kunden bei der Implementierung dieser Technologien und reduziert die Zeit bis zum ersten Token. NVIDIA bietet KI-Fabrik-Blueprints für seine Omniverse-‘Digital Twin’-Umgebung an, um das Rechenzentrum-Design zu simulieren und zu optimieren.
Ein entscheidender Aspekt von KI-Fabriken ist der Wandel im Denken, den sie bewirken, wobei NVIDIA der Headroom für das Systemwachstum Priorität einräumt.
Laut Gilad Shainer, Senior Vice President of Networking bei NVIDIA, ‘Das Generieren von Token bedeutet jetzt für viele Unternehmen das Generieren von Umsatz’. Rechenzentren entwickeln sich von Kostenstellen zu produktiven Vermögenswerten.
Und das ist letztendlich das Wesen des Baus einer Fabrik.