W dziedzinie sztucznej inteligencji kontekst jest najważniejszy. Zasada ta odzwierciedla ludzką inteligencję, co sugeruje jej znaczenie dla AI, biorąc pod uwagę, że stworzyliśmy ją na nasze podobieństwo.
Obecnie obserwujemy firmy takie jak NVIDIA, które promują fabryki AI – zasadniczo superkomputery przetwarzające petabajty danych w celu dostarczania inteligentnych odpowiedzi – jako nowatorski sposób katalizowania znaczących zmian w globalnej gospodarce i kulturach.
Ale jak doszliśmy do tego punktu? Odpowiedź, jak zawsze, leży w serii stopniowych postępów.
Zanim zagłębimy się w specyfikę fabryk AI i ich implikacje dla przyszłości biznesu i społeczeństwa, ustalmy pewien fundamentalny kontekst.
Rewolucja Neolityczna: Zasiewanie Nasion Innowacji
Około 12 000 lat temu nasi przodkowie przeszli od koczowniczego trybu życia łowców-zbieraczy do osiadłych rolników, uprawiając rośliny i hodując zwierzęta dla utrzymania. Rolnictwo, czyli uprawa roli, reprezentuje rudymentarną fabrykę żywności, polegającą na świetle słonecznym, wodzie i powietrzu do wzrostu roślin i zwierząt. Termin ‘firma’, oznaczający stałą opłatę za uprawę ziemi w czasach średniowiecza, stał się synonimem rolnictwa.
Rolnictwo wymagało hierarchicznych struktur społecznych dla efektywnej działalności rolniczej. Pismo pojawiło się jako narzędzie administracyjne, ułatwiające śledzenie nakładów i wyników w tych fabrykach żywności i ustanawianie zasad społecznych. Z czasem pismo rozszerzyło się na różne dziedziny i pozostaje potężnym środkiem przekazywania złożonych informacji.
Od momentu, gdy zamieniliśmy łuki i oszczepy na motyki, grabie i pługi, i wpisaliśmy pierwsze symboliczne glify w glinie lub kamieniu, nadejście AI, a co za tym idzie, fabryki AI, stało się nieuniknione. To była tylko kwestia czasu.
Rewolucja Przemysłowa: Kucie Ścieżki do Masowej Produkcji
Przez tysiąclecia ludzkość doskonaliła swoje umiejętności rolnicze, uzyskując nadwyżki, które sprzyjały pojawieniu się klasy kupieckiej – osób zajmujących się wytwarzaniem towarów dla innych, czyli ‘produkcji’, wywodzącej się z łacińskiego ‘a work by hand’. Doprowadziło to do rozwoju pieniądza, medium wymiany, które przyspieszyło handel wymienny i przekształciło go we współczesną gospodarkę. Globalizacja połączyła regionalne i krajowe gospodarki po epoce odkryć.
Kolejne fale globalizacji przekształciły zarówno rolnictwo, jak i produkcję. Kluczowa zmiana w fabrykach, epicentrach standaryzowanej produkcji, obejmowała podział procesu produkcyjnego na dyskretne kroki w celu zwiększenia szybkości i powtarzalności. Ta rewolucja przemysłowa zbiegła się z oświeceniem, charakteryzującym się gwałtownym wzrostem wskaźników alfabetyzacji, ponieważ fabryki wymagały wykształconych pracowników, aby zmaksymalizować wydajność i zminimalizować straty. Edukacja stała się koniecznością, sprzyjając uznaniu praw obywatelskich, praw własności prywatnej, wolności religii, bezpieczeństwa, słowa i prawa do szybkiego procesu sądowego.
Zasady te, oczywiste w XXI wieku, zawdzięczają swoje powstanie XVIII wiekowi.
Fabryki przeniosły produkcję do wnętrz, wykorzystując parę i energię elektryczną do zasilania linii montażowych i technik lean manufacturing. Pozwoliło to na produkcję towarów po przystępnych cenach, podnosząc standard życia i sprzyjając rozwojowi klasy średniej, napędzając ekspansję gospodarczą poza możliwości społeczeństw rolniczych.
Rewolucja AI: Dane jako Nowa Granica
Pojawienie się Internetu połączyło jednostki i wygenerowało nowy zasób: dane, gotowe do wnikliwej analizy.
Rewolucja AI zależała od digitalizacji ogromnych ilości tekstu, obrazów, wideo i audio, w połączeniu z przystępną mocą obliczeniową do przetwarzania tych danych. Big data, w połączeniu z masowo równoległymi GPU i wysoką przepustowością pamięci, umożliwiają tworzenie sieci neuronowych, które kodują nasze rozumienie świata, umożliwiając w ten sposób sztuczną inteligencję.
Zasadniczo big data dostarcza surowca dla algorytmów AI działających na silnikach GPU do konstruowania funkcjonalnych sieci neuronowych.
Elementy te muszą zbiegać się jednocześnie. W latach 80. badacze posiadali algorytmy sieci neuronowych, ale brakowało im zasobów obliczeniowych i danych do ich wdrożenia. W konsekwencji AI pozostała w dużej mierze teoretyczna, dopóki nie zostały spełnione te trzy warunki.
Fabryki AI: Dosłowna Transformacja
Termin ‘fabryka AI’ nie jest tylko metaforą, ale precyzyjnym opisem nowoczesnego superkomputera AI działającego w otoczeniu komercyjnym. Zasadniczo zmienia on korporacyjne obliczenia i analizę danych – syntezę danych w informacje umożliwiające działanie.
Fabryka AI jest tak nieunikniona jak rewolucja rolnicza, gdzie zbiorowy wysiłek zapewniał produkcję żywności. Przemiany społeczne i kulturowe wynikające z tej rewolucji dały ludzkości czas wolny na kontemplację i innowacje. Teraz maszyny mogą uzyskiwać dostęp do całej ludzkiej wiedzy i przetwarzać ją, umożliwiając konwersacyjne wyszukiwania i odwrotne zastosowanie algorytmów AI do generowania nowych danych w różnych formatach.
Przedsiębiorstwa i osoby fizyczne będą miały dostęp do fabryk AI, bezpośrednio lub poprzez umowy współdzielenia czasu. Te fabryki AI będą generować nowatorskie pomysły, wizje i wzmacniać indywidualne możliwości twórcze.
Transformacyjny potencjał fabryk AI jest wszechogarniający. Chatboty, twórcy równoległych silników obliczeniowych do szkolenia i wnioskowania modeli oraz twórcy modeli, tacy jak OpenAI, Anthropic, Google i Mistral, zgadzają się, że AI przekształci każdy aspekt naszego życia. Pomimo globalnych sporów w różnych kwestiach, transformacyjny wpływ AI jest powszechnie uznawany.
Produkcja Wiedzy i Działania
Fabryki AI pełnią dwie podstawowe funkcje. Pierwszą jest trenowanie modeli bazowych, dostarczających wiedzy dla poprawy biznesowej i osobistej. Druga, i ważniejsza, funkcja polega na wprowadzaniu nowych danych i pytań do tych modeli w celu wyciągania nowych wniosków, generowania nowych tokenów i napędzania działania.
Wiele z dyskusji na temat AI koncentrowało się na trenowaniu stale rozwijających się modeli bazowych, szczycących się setkami miliardów do bilionów parametrów i ogromnymi zbiorami danych. Liczba tokenów wskazuje na szerokość wiedzy, podczas gdy parametry odzwierciedlają głębię zrozumienia. Mniejsza liczba parametrów w połączeniu z większymi zbiorami tokenów daje szybsze, prostsze odpowiedzi. I odwrotnie, większa liczba parametrów i mniejsze zbiory tokenów zapewniają bardziej zniuansowane spostrzeżenia w ograniczonej dziedzinie. Modele rozumowania łańcucha myśli, multimodalne z natury, łączą specjalistyczne modele, aby rozważyć wyniki, które napędzają inne dane wejściowe, generując kompleksowe odpowiedzi.
Fabryki AI wykorzystują całą zawartość stworzoną przez ludzkość i syntetyczne dane generowane przez modele AI jako surowiec. Spostrzeżenia uzyskane z tych danych są wykorzystywane przez ludzi i agentów AI do napędzania działania. Zamiast pracować w fabryce, jednostki wykorzystują ją, wzbogacając swoje umiejętności o wiedzę i szybkość modeli AI, aby osiągać więcej, lepiej i szybciej.
Według Jensena Huanga, współzałożyciela i dyrektora generalnego NVIDIA, ‘Świat ściga się, aby budować najnowocześniejsze, wielkoskalowe fabryki AI’. Uruchomienie fabryki AI to niezwykłe osiągnięcie inżynieryjne, wymagające ogromnych zasobów, siły roboczej i materiałów.
Budowa fabryki AI wiąże się ze znacznymi nakładami kapitałowymi. Typowa konfiguracja obejmuje NVIDIA DGX SuperPOD oparty na wielu szafach systemów DGX, wyposażonych w GPU, CPU, szybkie połączenia i pamięć masową.
Dzięki licznym systemom DGX SuperPOD zapewnia znaczną wydajność, szczycąc się znaczną pojemnością pamięci i przepustowością. Wydajność można skalować, dodając więcej systemów.
Inny plan NVIDIA dla fabryki AI koncentruje się na platformie NVIDIA GB200 NVL72, systemie w skali szafy integrującym GPU, CPU, DPU, SuperNIC, NVLink i NVSwitch oraz szybką sieć. Platforma ta oferuje większą wspólną domenę pamięci GPU dla modeli AI i wyższą gęstość obliczeniową, co wymaga chłodzenia cieczą.
GB200 NVL72, dostarczany w pełnej objętości, stanowi samodzielny system zdolny do budowania modeli i generowania danych w różnych formatach.
GB200 NVL72 składa się z węzła serwera MGX wyposażonego w NVIDIA Grace CPU w połączeniu z Blackwell GPU. Dwa z tych węzłów serwerowych tworzą zasobnik obliczeniowy w szafie NVL72, z osiemnastoma zasobnikami obliczeniowymi mieszczącymi liczne GPU i CPU.
System w skali szafy GB200 NVL72 łączy Grace CPU z Blackwell GPU, połączonymi za pośrednictwem szybkich połączeń NVLink. Porty NVLink i układy NVSwitch łączą wszystkie GPU we wspólnej konfiguracji pamięci, idealnej do trenowania modeli bazowych i wnioskowania łańcucha myśli.
Struktura NVLink, ułatwiona przez dziewięć zasobników przełączników NVLink, umożliwia dostęp do wszystkich rdzeni GPU jako zunifikowanego GPU dla aplikacji AI.
Systemy GB200 NVL72 zawierają liczne rdzenie Arm do przetwarzania hosta i znaczną moc obliczeniową zmiennoprzecinkową. System GB200 NVL72 szczyci się znaczną pamięcią HBM3e podłączoną do GPU, z wysoką zagregowaną przepustowością. Procesory Grace CPU zawierają pamięć LPDDR5X, dostępną przez NVLink.
NVIDIA GB200 NVL72 odzwierciedla transformacyjny wpływ System/360 na przetwarzanie transakcji online, z tą kluczową różnicą, że NVL72 można skalować za pośrednictwem połączeń InfiniBand.
Konfiguracje DGX SuperPOD oparte na systemach w skali szafy NVL72 wymagają znacznej mocy, ale zapewniają ogromną moc obliczeniową i pojemność pamięci w wielu szafach obliczeniowych. Wydajność można skalować, dodając więcej szaf.
Gęstość obliczeniowa szafy NVL72 wymaga specjalistycznego chłodzenia cieczą i infrastruktury centrum danych, co stanowi powrót do przeszłych praktyk, gdzie maszyny chłodzone wodą maksymalizowały wydajność.
Fabryki AI będą wymagać znacznie większej mocy obliczeniowej, ponieważ wnioskowanie staje się integralną częścią różnych aplikacji, zwłaszcza wraz z przejściem na modele rozumowania łańcucha myśli.
Fabryki AI obejmują nie tylko sprzęt, ale także systemy i oprogramowanie do rozwoju.
Systemy DGX GB200 i superkomputery AI DGX SuperPOD wymagają zarządzania i modelowania, ułatwionego przez narzędzia takie jak NVIDIA Mission Control, które orkiestruje obciążenia AI i automatycznie odzyskuje zadania. Mission Control monitoruje stan systemu i optymalizuje zużycie energii.
NVIDIA AI Enterprise, pakiet oprogramowania systemowego, zawiera biblioteki, modele i ramy zoptymalizowane dla GPU i sieci NVIDIA. Stos fabryki AI zawiera również NVIDIA Dynamo, ramy open-source do uruchamiania wnioskowania w infrastrukturze NVLink i DGX SuperPOD. DGX Expert Service and Support pomaga klientom we wdrażaniu tych technologii, skracając czas do pierwszego tokena. NVIDIA oferuje plany fabryk AI dla swojego środowiska ‘cyfrowego bliźniaka’ Omniverse w celu symulacji i optymalizacji projektowania centrum danych.
Kluczowym aspektem fabryk AI jest zmiana w myśleniu, którą wywołują, przy czym NVIDIA priorytetowo traktuje przestrzeń nad głową dla rozwoju systemu.
Według Gilada Shainera, starszego wiceprezesa ds. sieci w NVIDIA, ‘Generowanie tokenów teraz równa się generowaniu przychodów dla wielu firm’. Centra danych ewoluują z centrów kosztów w produktywne aktywa.
I to, ostatecznie, jest istotą budowania fabryki.