Artykuł: NeuReality kształtuje na nowo ekonomię AI: Natychmiastowy dostęp do LLM po wyjęciu z pudełka, przy jednoczesnym obniżeniu całkowitego kosztu posiadania sztucznej inteligencji
Przedsiębiorstwa i dostawcy usług wdrażają aplikacje i agentów AI w rekordowym tempie i koncentrują się na dostarczaniu…
NeuReality, pionier w przeprojektowywaniu architektury wnioskowania AI w celu zaspokojenia potrzeb dzisiejszych modeli i obciążeń AI, ogłosiła, że jej urządzenie do wnioskowania NR1 jest teraz wstępnie załadowane popularnymi modelami AI dla przedsiębiorstw, w tym Llama, Mistral, Qwen, Granite 1, i obsługą prywatnych chmur generatywnej AI i klastrów lokalnych. To urządzenie gotowe do generatywnej i agentowej AI uruchamia się w mniej niż 30 minut, oferując 3-krotnie szybszy czas realizacji wartości, umożliwiając klientom szybsze wprowadzanie innowacji. Obecne testy PoC (Proof of Concept) pokazują poprawę przepustowości tokenów do 6,5 raza przy tym samym koszcie i zużyciu energii w porównaniu z serwerami wnioskowania opartymi na procesorach x86, umożliwiając firmom i rządom każdej wielkości dostęp do sztucznej inteligencji i korzystanie z niej w bardziej opłacalny sposób.
Wewnątrz urządzenia chip NR1® jest pierwszym prawdziwym procesorem AI-CPU, zbudowanym specjalnie do orkiestracji wnioskowania - zarządzania danymi, zadaniami i integracjami - z wbudowanym oprogramowaniem, usługami i interfejsami API. Integruje nie tylko tradycyjną architekturę procesora i karty sieciowej w jednym, ale także upakowuje 6x moc obliczeniową w chipie, aby dotrzymać kroku szybkiemu postępowi kart graficznych, jednocześnie eliminując tradycyjne wąskie gardła procesora.
W połączeniu z dowolnym GPU lub akceleratorem AI w urządzeniu, chip NR1 zapewnia przełomową wydajność kosztową, energetyczną i przestrzenną, co jest kluczowe dla szerokiego przyjęcia AI w przedsiębiorstwach. Na przykład, porównując ten sam model Llama 3.3-70B i te same ustawienia GPU lub akceleratora AI, urządzenie NeuReality z procesorem AI-CPU zapewnia niższy całkowity koszt na milion tokenów AI niż serwer oparty na procesorze x86.
„Nikt nie kwestionuje ogromnego potencjału AI. Wyzwaniem jest uczynienie wdrażania wnioskowania AI opłacalnym ekonomicznie. Przełomowa technologia AI-CPU firmy NeuReality eliminuje wąskie gardła, pozwalając nam zapewnić dodatkową wydajność potrzebną do odblokowania pełnej mocy GPU, jednocześnie koordynując zapytania i tokeny AI, aby zmaksymalizować wydajność i zwrot z inwestycji w te drogie systemy AI” – powiedział Moshe Tanach, współzałożyciel i dyrektor generalny NeuReality.
„Teraz podnosimy łatwość użytkowania na nowy poziom dzięki naszemu zintegrowanemu urządzeniu do wnioskowania AI typu krzem-oprogramowanie. Jest wstępnie załadowane modelami AI i wszystkimi narzędziami, które pomagają programistom oprogramowania AI wdrażać AI szybciej, łatwiej i taniej niż kiedykolwiek wcześniej, umożliwiając im przeniesienie zasobów na stosowanie AI w ich działalności, a nie na integrację i optymalizację infrastruktury” – kontynuował Tanach.
Niedawne badanie wykazało, że około 70% firm zgłasza korzystanie z generatywnej AI w co najmniej jednej funkcji biznesowej, co wskazuje na wzrost popytu. Jednak tylko 25% firm ma procesy w pełni włączone przez AI i osiągnęło powszechne przyjęcie, a tylko jedna trzecia rozpoczęła wdrażanie ograniczonych przypadków użycia AI.
Obecnie wąskie gardła wydajności procesora w serwerach zarządzających obciążeniami multimodalnymi i dużymi modelami językowymi są głównym czynnikiem przyczyniającym się do średniego wykorzystania GPU na poziomie zaledwie 30-40%. Prowadzi to do kosztownego marnotrawstwa krzemu we wdrożeniach AI, a także do rynku niedostatecznie obsługiwanego, który nadal boryka się ze złożonością i barierami kosztowymi.
„Przedsiębiorstwa i dostawcy usług wdrażają aplikacje i agentów AI w rekordowym tempie i koncentrują się na ekonomicznym dostarczaniu wydajności. Integrując akcelerator Qualcomm Cloud AI 100 Ultra z architekturą AI-CPU firmy NeuReality, użytkownicy mogą osiągnąć nowy poziom efektywności kosztowej i wydajności AI, bez uszczerbku dla łatwości wdrażania i skalowania” – powiedział Rashid Attar, starszy wiceprezes ds. inżynierii, Qualcomm Technologies, Inc.
Urządzenie NR1 firmy NeuReality zostało wdrożone u klientów z branży chmurowej i usług finansowych i zostało specjalnie zaprojektowane w celu przyspieszenia wdrażania AI dzięki swojej ekonomiczności, dostępności i efektywności przestrzennej, zarówno w przypadku opcji wnioskowania lokalnego, jak i w chmurze jako usługa. Oprócz nowych, wstępnie załadowanych modeli generatywnych i agentowych AI oraz nowych wydań co kwartał, jest w pełni zoptymalizowany pod kątem wstępnie skonfigurowanego zestawu SDK i interfejsów API do wizji komputerowej, konwersacyjnej AI lub niestandardowych żądań obsługujących różnorodne przypadki użycia i rynki biznesowe (np. usługi finansowe, nauki przyrodnicze, rząd, dostawcy usług w chmurze).
Pierwsze urządzenie NR1 łączy moduł NR1® (karta PCIe) z akceleratorem Qualcomm® Cloud AI 100 Ultra.
NeuReality zaprezentuje się w pawilonie izraelskim, hala 2, stanowisko S0912 (w pobliżu centralnej sceny) na InnoVEX (wspólnie z Computex) w Tajpej na Tajwanie w dniach 20-23 maja 2025 r. Firma zaprezentuje demonstrację na żywo działającego urządzenia do wnioskowania NR1 z migracją aplikacji czatu w ciągu kilku minut oraz demonstracje wydajności działania układu NR1 z modelami Smooth Factory Models i DeepSeek-R1-Distill-Llama-8B.
Założona w 2019 roku NeuReality jest pionierem w dziedzinie dedykowanych architektur wnioskowania AI opartych na chipie NR1® – pierwszym procesorze AI-CPU do orkiestracji wnioskowania. Oparty na otwartej architekturze opartej na standardach, NR1 jest w pełni kompatybilny z dowolnym akceleratorem AI. Misją NeuReality jest uczynienie AI dostępną i powszechną poprzez obniżenie barier związanych z wysokimi kosztami, zużyciem energii i złożonością oraz wykorzystanie przełomowej technologii w celu rozszerzenia wdrażania wnioskowania AI. Firma zatrudnia 80 osób w fabrykach w Izraelu, Polsce i USA.
1 Modele AI wstępnie załadowane i zoptymalizowane dla klientów korporacyjnych obejmują: Llama 3.3 70B, Llama 3.1 8B (seria Llama 4 wkrótce); Mistral 7B, Mistral 8x7B i Mistral Small; Qwen 2.5, w tym Coder (Qwen 3 wkrótce); DeepSeek R1**-**Distill-Llama 8B, R1 Distill-Llama 70b; oraz Granite 3, 3.1 8B (Granite 3.3 wkrótce).
Rewolucja AI NeuReality: Połączenie wydajności, efektywności kosztowej i łatwości użytkowania
W miarę jak sztuczna inteligencja (AI) w dalszym ciągu przenika do różnych branż, firmy stoją przed wyzwaniem wdrażania rozwiązań wnioskowania AI, które są zarówno opłacalne ekonomicznie, jak i wydajne. NeuReality zakłóca ekonomię AI dzięki innowacyjnemu podejściu, które koncentruje się na zapewnieniu natychmiastowego dostępu do LLM (dużych modeli językowych) po wyjęciu z pudełka, przy jednoczesnym znacznym obniżeniu całkowitego kosztu posiadania wnioskowania AI. Flagowy produkt NeuReality, urządzenie do wnioskowania NR1, zapewnia firmom niezrównaną wydajność, efektywność kosztową i łatwość użytkowania, optymalizując architekturę wnioskowania AI i wstępnie ładując popularne modele AI dla przedsiębiorstw.
Urządzenie do wnioskowania NR1: Zmieniacz zasad gry
Sercem urządzenia do wnioskowania NR1 jest specjalnie zbudowany procesor AI firmy NeuReality, który działa jako scentralizowane centrum sterowania danymi, zadaniami i integracjami. W przeciwieństwie do tradycyjnych architektur procesora i karty sieciowej, układ NR1 integruje te komponenty w jedną jednostkę, zmniejszając wąskie gardła i maksymalizując moc przetwarzania. Takie zintegrowane podejście umożliwia układowi dotrzymywanie kroku szybkiemu postępowi GPU, jednocześnie optymalizując zapytania i tokeny AI w celu zwiększenia wydajności i zwrotu z inwestycji.
AI po wyjęciu z pudełka: Uproszczenie wdrożenia
Aby jeszcze bardziej zwiększyć łatwość użytkowania, urządzenie do wnioskowania NR1 jest wstępnie załadowane popularnymi modelami AI dla przedsiębiorstw, w tym Llama, Mistral, Qwen i Granite. Ta funkcja eliminuje złożoność konfiguracji i optymalizacji, umożliwiając programistom oprogramowania AI skupienie się na stosowaniu AI w swojej działalności, zamiast tracić czas na integrację infrastruktury. Urządzenie można uruchomić w mniej niż 30 minut, zapewniając klientom szybki czas realizacji wartości.
Ekonomiczna AI: Przyspieszenie wdrażania
Technologia firmy NeuReality umożliwia firmom bardziej ekonomiczny dostęp do AI i korzystanie z niej, zapewniając niższy jednolity koszt całkowity na milion tokenów AI niż serwery oparte na procesorach x86. Taka efektywność kosztowa jest kluczowa dla firm i rządów każdej wielkości, ponieważ obniża bariery w wdrażaniu AI i umożliwia szerszy zakres zastosowań.
Współpraca z Qualcomm Technologies: Odblokowanie nowego poziomu wydajności
Strategiczne partnerstwo między NeuReality a Qualcomm Technologies dodatkowo wzmacnia możliwości urządzenia do wnioskowania NR1. Integrując akcelerator Qualcomm Cloud AI 100 Ultra z architekturą AI firmy NeuReality, użytkownicy mogą osiągnąć nowy poziom efektywności kosztowej i wydajności AI, bez uszczerbku dla łatwości wdrażania i skalowania. Takie oparte na współpracy podejście ukazuje zaangażowanie NeuReality w wykorzystywanie najnowocześniejszych technologii do optymalizacji rozwiązań wnioskowania AI.
Rozwiązywanie wyzwań związanych z AI w przedsiębiorstwach: Poprawa wykorzystania GPU
NeuReality rozwiązuje istotne wyzwanie stojące przed firmami: wąskie gardła wydajności procesora w serwerach, które zmniejszają wykorzystanie GPU. Tradycyjnie serwery zarządzające obciążeniami multimodalnymi i dużymi modelami językowymi mają średnie wykorzystanie GPU na poziomie zaledwie 30-40%. Tak niskie wykorzystanie przekłada się na kosztowne marnotrawstwo krzemu we wdrożeniach AI i ogranicza wdrażanie AI na rynkach niedostatecznie obsługiwanych. Technologia AI-CPU firmy NeuReality rozwiązuje ten problem, eliminując wąskie gardła wydajności, co umożliwia firmom pełne wykorzystanie możliwości swoich GPU w aplikacjach AI.
Spełnienie zapotrzebowania na generatywną AI: Wzrost wykorzystania
Rozwiązanie firmy NeuReality dobrze wpisuje się w perspektywy szybkiego wzrostu rynku generatywnej AI. Niedawne badania wskazują, że około 70% firm zgłasza korzystanie z generatywnej AI w co najmniej jednej funkcji biznesowej. Jednak tylko 25% firm ma procesy w pełni włączone przez AI i osiągnęło powszechne przyjęcie. Urządzenie do wnioskowania NR1 firmy NeuReality umożliwia firmom przyspieszenie ich inicjatyw generatywnej AI, eliminując bariery we wdrażaniu poprzez zwiększenie łatwości użytkowania, efektywności kosztowej i wydajności.
Łatwość użytkowania: Zmniejszenie bariery wdrożeniowej
Poza wydajnością i efektywnością kosztową, łatwość użytkowania jest kluczowym czynnikiem napędzającym oprogramowanie AI NeuReality. Urządzenie do wnioskowania NR1 jest wstępnie załadowane modelami AI i zestawami narzędzi do programowania, co upraszcza proces wdrażania i zmniejsza zapotrzebowanie na integrację i optymalizację infrastruktury. Taka łatwość użytkowania umożliwia programistom oprogramowania AI skupienie się na tworzeniu i wdrażaniu innowacyjnych aplikacji AI, zamiast tracić czas na skomplikowaną infrastrukturę.
Szeroki zakres zastosowań: Wiele branż
Urządzenie do wnioskowania NR1 firmy NeuReality zostało zaprojektowane w celu obsługi różnych przypadków użycia i rynków biznesowych. Urządzenie działa optymalnie dzięki wstępnie skonfigurowanym zestawom narzędzi do programowania i API wizji komputerowej, konwersacji AI i prośbó opartych na żądaniac. Taka wszechstronność sprawia, że urządzenie do wnioskowania NR1 nadaje się do różnych branż, w tym usług finansowych, nauk przyrodniczych, rządu i dostawców usług w chmurze.
Przyspieszenie wdrażania AI: Dostępność ekonomiczna, przystępność i efektywność przestrzenna
Urządzenie NR1 firmy NeuReality sprzyja przyjmowaniu przez społeczeństwo AI, oferując jednocześnie dostępność ekonomiczną, dzięki czemu nadaje się zarówno do infrastruktury lokalnej, jak i chmurowej. Wiele organizacji stara się poszerzyć swoje zakresy programów AI, ponieważ cechują się one wysokimi kosztami i złożonością, ale rozwiązania NeuReality rozwiązują te przeszkody, dostarczając efektywną kosztowo, otwartą platformę standardów, upraszczając w ten sposób rozwój i wdrażanie AI.
Najważniejsze cechy prezentacji
NeuReality zaprezentuje działanie swojego mechanizmu wnioskowania NR1 na wystawie InnoVEX podczas targów Computex na Tajwanie, które odbędą się od 20 do 23 maja 2025 r. na Tajwanie w Tajpej. Podczas wydarzenia firma zademonstruje, jak w ciągu kilku minut w prosty sposób przenieść aplikacje czatu oraz zaprezentuje wydajność w przypadku płynnych modeli fabrycznych i DeepSeek-R1-Distill-Llama-8B.
Ciągłe innowacje: Przygotowanie na przyszłość
NeuReality dąży do ciągłego ulepszania możliwości urządzenia do wnioskowania NR1 poprzez regularne udostępnianie nowych modeli generatywnej i agentowej AI oraz zoptymalizowanych zestawów narzędzi do programowania. Takie ciągłe innowacje umożliwiają firmom bieżące śledzenie najnowszych technologii AI i zapewniają optymalizację infrastruktury AI pod kątem przyszłych obciążeń.
NeuReality: Umożliwienie wykorzystania potencjału AI przez firmy
Przełomowa technologia AI-CPU firmy NeuReality stanowi opłacalny sposób na wdrożenie wnioskowania AI pozwalającego na zmaksymalizowanie wydajności GPU przy jednoczesnej optymalizacji zapytań i tokenów AI w celu uzyskania maksymalnej wydajności i zwrotu z inwestycji. W miarę jak NeuReality w dalszym ciągu wprowadza innowacje i poszerza możliwości mechanizmu wnioskowania NR1, staje się kluczowym sojusznikiem firm pragnących rozwijać się w kwitnącym świecie AI.
Dzięki połączeniu dążenia do wydajności, efektywności kosztowej i łatwości użytkowania z zaangażowaniem w ciągłe innowacje, NeuReality jest w stanie kształtować nową ekonomię AI i umożliwiać firmom każdej wielkości wykorzystanie potencjału AI.