Wyzwanie DeepSeek
Niedawne postępy Chin w dziedzinie sztucznej inteligencji, zwłaszcza wprowadzenie na rynek DeepSeek-R1, przyciągnęły uwagę całego świata. Tajwan jednak obiera inny kurs, priorytetowo traktując rozwój modeli językowych odzwierciedlających jego unikalną tożsamość kulturową i wartości demokratyczne. Celem tego przedsięwzięcia jest stworzenie przeciwwagi dla systemów AI, na które wpływają reżimy autorytarne.
Ujawnienie DeepSeek-R1 w styczniu wzbudziło spore zainteresowanie w społeczności technologicznej. Wcześniejsze chińskie modele językowe, takie jak Ernie firmy Baidu i Doubao firmy ByteDance, wykazywały obiecujące wyniki w zastosowaniach w języku chińskim, matematyce i kodowaniu, ale były ograniczone słabszą znajomością języka angielskiego i ograniczoną dostępnością. DeepSeek-R1 jednak stanowił znaczący kamień milowy jako pierwszy chiński LLM, który zyskał międzynarodowe uznanie.
Jednym z najbardziej uderzających aspektów DeepSeek-R1 był podobno niski koszt rozwoju. W przeciwieństwie do GPT-4o OpenAI, którego wyszkolenie kosztowało podobno ponad 100 milionów dolarów, badacze z DeepSeek twierdzili, że ich chatbot został opracowany za zaledwie 5,6 miliona dolarów. Dodatkowo, umacniając narrację o wydajności, inżynierowie DeepSeek wyszkolili model R1 przy użyciu procesorów CPU średniej klasy, takich jak Nvidia H800, zamiast najwyższej klasy chipów używanych w modelach takich jak GPT-4o lub Claude firmy Anthropic. Pomimo amerykańskich ograniczeń w eksporcie wysokowydajnych chipów do Chin, DeepSeek-R1 zdołał przewyższyć inne wiodące boty, wykorzystując jedynie 2048 procesorów rozmieszczonych na 256 serwerach.
Ta niezwykła wydajność i niższy koszt rozwoju zostały w dużej mierze przypisane wyrafinowanym technikom programowania, w tym PTX, językowi przypominającemu asembler, który umożliwia programistom precyzyjne dostrajanie wydajności i maksymalizację wykorzystania sprzętu.
Krótko po wydaniu aplikacja DeepSeek-R1 szybko wspięła się na szczyt rankingów bezpłatnych pobrań w amerykańskim Apple App Store, wyprzedzając ChatGPT, TikTok i platformy mediów społecznościowych Meta. Nasdaq doświadczył spadku, a akcje Nvidii spadły po debiucie DeepSeek-R1.
Kwestionowanie twierdzeń DeepSeek
Pomimo początkowego entuzjazmu, wielu obserwatorów wyraziło wątpliwości co do zasadności twierdzeń DeepSeek dotyczących jego LLM. Analitycy zasugerowali, że podane liczby prawdopodobnie uwzględniają jedynie koszty obliczeniowe, pomijając lub zaniżając koszty infrastruktury, sprzętu i zasobów ludzkich.
Wesley Kuo, założyciel i dyrektor generalny Ubitus, dostawcy usług generatywnej AI i gier w chmurze z siedzibą w Tajpej, podzielił te obawy, stwierdzając, że rzeczywisty koszt jest prawdopodobnie znacznie wyższy niż ten podawany. Ubitus, przy wsparciu Nvidii, wspierał Project TAME, zlokalizowany LLM wykorzystujący tradycyjne chińskie znaki. Dostarczyli procesory H100 i dane dotyczące gier. Ubitus współpracował również z Foxlink i Shinfox Energy, aby założyć Ubilink.AI, budując największe na Tajwanie centrum usług superkomputerowych AI zasilane zieloną energią we współpracy z Asusem.
Kuo podkreśla zaangażowanie firmy w opracowywanie aplikacji i modeli LLM dla rządów, w tym rządu japońskiego, w sektorach takich jak gry, turystyka i handel detaliczny, podkreślając potencjał AI w rozwiązywaniu problemów niedoboru siły roboczej i starzejącego się społeczeństwa.
Obawy dotyczące integralności danych
Kuo zgadza się z OpenAI i Microsoftem, sugerując, że DeepSeek mógł pozyskać dane poprzez destylację modelu. Proces ten polega na szkoleniu mniejszych modeli językowych w celu naśladowania wyników większych modeli. OpenAI i Microsoft twierdzą, że DeepSeek wykorzystał interfejs programowania aplikacji OpenAI, aby ułatwić jego rozwój.
Kuo twierdzi, że DeepSeek pozyskał dane od OpenAI i że istnieją nieporozumienia dotyczące twierdzeń firmy o wydajności. Zwraca uwagę, że DeepSeek-R1, ze swoimi 670 miliardami parametrów, jest znacznie większy niż Llama 3.1 405B firmy Meta AI. Parametry to wewnętrzne wartości liczbowe, których model uczy się podczas szkolenia, aby dokonywać przewidywań. Kuo sugeruje również, że modele DeepSeek mogły zostać wydestylowane z Llama 3.1.
Oprócz tych obaleń, pojawiły się również obawy dotyczące możliwości DeepSeek-R1. Eksperci sugerują, że, podobnie jak jego poprzednicy, R1 przoduje w wyspecjalizowanych, zadaniowych funkcjach, ale pozostaje w tyle za wersjami GPT-4o pod względem wydajności ogólnego przeznaczenia.
Głównym ograniczeniem modeli DeepSeek jest ograniczenie swobodnego dostępu do informacji. Użytkownicy odkryli, że zapytania o drażliwe tematy polityczne spotykały się z wymijającymi odpowiedziami. W kwestiach takich jak status ujgurskiej mniejszości w Xinjiangu i Tajwanu, odpowiedzi DeepSeek odzwierciedlają oficjalne stanowiska Chińskiej Partii Komunistycznej. Badania sugerują, że znaczna część wyników DeepSeek jest cenzurowana w celu tłumienia informacji związanych z demokracją, prawami człowieka i spornymi roszczeniami Chin do suwerenności.
Alternatywa Tajwanu: TAIDE i dalej
W odpowiedzi, opracowane na Tajwanie LLM, takie jak TAME, wyłoniły się jako alternatywy dla DeepSeek w Sinosphere. Trustworthy AI Dialogue Engine (TAIDE), uruchomiony w czerwcu 2023 r. przez National Institute of Applied Research, ma na celu opracowanie modelu zgodnego z tajwańskimi normami społecznymi, kulturowymi i językowymi.
Chociaż prace nad TAIDE wydają się być wstrzymane, służył on jako ważny punkt odniesienia dla Project TAME. TAME, opracowany przez Machine Intelligence and Understanding Laboratory (MiuLab) na National Taiwan University, z funduszy różnych organizacji, został przeszkolony na 500 miliardach tokenów. Przewyższył on konkurencję, w tym GPT-4o, w 39 ocenach, osiągając wyższe wyniki na egzaminach wstępnych na uniwersytet, egzaminach adwokackich i egzaminach z tradycyjnej medycyny chińskiej.
Jednym z celów TAME jest promowanie lokalnej kultury. Odblokowanie lokalnych możliwości językowych jest znaczącym krokiem. Kuo wspomina o opracowaniu tajwańskiego głosowego LLM opartego na Whisper, który osiągnął pozytywne wyniki w zrozumieniu mówionego tajwańskiego. Trwają prace nad rozwojem rozpoznawania języka Hakka.
Wysiłki te zostały dobrze przyjęte przez instytucje w regionach, w których te języki są powszechne. Istnieją również wysiłki, aby przeszkolić model w rozpoznawaniu języków rdzennych, ale ograniczona ilość danych pozostaje przeszkodą. Szkolenie AI w celu nauczenia się nowego języka wymaga znacznej ilości nagrań głosowych w połączeniu z tekstem.
Dostęp do danych historycznych w archiwach rządowych stanowi kolejną okazję. Jednak niektóre dane są chronione prawami autorskimi. Pojawienie się sztucznej ogólnej inteligencji oferuje potencjał pomocy w ożywieniu zagrożonych i wymarłych języków.
Dążenie do suwerenności AI
Przecięcie języka i kultury podkreśla znaczenie suwerenności AI jako środka wzmacniania tożsamości tajwańskiej, komunikowania narracji Tajwanu i ochrony jego środowiska informacyjnego.
Julian Chu, konsultant branżowy i dyrektor w Market Intelligence & Consulting Institute (MIC), podkreśla potencjał występowania uprzedzeń w modelach LLM i danych szkoleniowych. Zauważa, że nawet przy użyciu tradycyjnych znaków, wyniki LLM mogą odzwierciedlać styl Chińskiej Republiki Ludowej i nie oddawać kultury Tajwanu. Celem jest, aby tajwańskie firmy wykorzystywały tajwański język lub dane do szkolenia LLM i budowania suwerenności AI.
Chu wspomina o Formosa Foundation Model (FFM-Llama2) jako o kolejnym obiecującym tajwańskim LLM. Wydany we wrześniu 2023 r. przez Taiwan Web Service, miał na celu demokratyzację AI. Foxconn również uruchomił swój LLM, FoxBrain, w marcu. Jednak niektórzy komentatorzy pozostają sceptyczni wobec przedsięwzięć dużych korporacji w LLM.
Lin Yen-ting, członek zespołu MiuLab, który opracował TAME, podkreśla potrzebę rozwiązania luki w środowisku informacyjnym dotyczącym Tajwanu. Zauważa, że DeepSeek-R1 i inne chińskie LLM przedstawiają zniekształcony obraz Tajwanu. Modele opracowane w USA również czasami mogą błędnie przedstawiać Tajwan. Modele o otwartym kodzie źródłowym mogą nie traktować Tajwanu priorytetowo, a w danych szkoleniowych dominuje Chiny.
Dlatego ważne jest selektywne włączanie tajwańskich treści i ponowne przeszkolenie ich w modelu. To proaktywne podejście zapewnia, że unikalny tajwański krajobraz kulturowy i językowy jest dokładnie reprezentowany w sferze cyfrowej, wspierając poczucie tożsamości narodowej i zachowując jego odrębne dziedzictwo w obliczu globalnego rozwoju AI. To poświęcenie ochronie tożsamości tajwańskiej zapewnia, że unikalna kultura i wartości tego wyspiarskiego państwa nie zostaną przyćmione przez dominujące narracje.
Wyzwania nieodłącznie związane z tym przedsięwzięciem są znaczne. Budowa prawdziwie reprezentatywnego modelu AI wymaga znacznych inwestycji zasobów, w tym dostępu do ogromnych zbiorów danych zlokalizowanych treści i wiedzy specjalistycznej w zakresie przetwarzania języka naturalnego. Ponadto, ciągła potrzeba przeciwdziałania dezinformacji i stronniczym informacjom wymaga ciągłego procesu udoskonalania i adaptacji.
Pomimo tych wyzwań, zaangażowanie Tajwanu w suwerenność AI pozostaje niezachwiane. Rozwój TAME i innych zlokalizowanych LLM stanowi kluczowy krok w kierunku zapewnienia, że przyszłość sztucznej inteligencji odzwierciedla unikalną tożsamość kulturową wyspy, wartości demokratyczne i niezachwiane zaangażowanie w zachowanie swojego odrębnego miejsca na świecie. Priorytetowo traktując suwerenność AI, Tajwan nie tylko chroni swoje dziedzictwo kulturowe, ale także pozycjonuje się jako kluczowy gracz na globalnym krajobrazie AI, demonstrując, że postęp technologiczny można pogodzić z zachowaniem tożsamości kulturowej i zasad demokratycznych.
Kontynuacja podróży
Podróż w kierunku pełnej suwerenności AI trwa. Dalsze badania, rozwój i współpraca mają kluczowe znaczenie dla pokonania wyzwań i zapewnienia długoterminowego sukcesu tych inicjatyw. Kontynuując priorytetowe traktowanie suwerenności AI, Tajwan może stworzyć cyfrowy krajobraz, który prawdziwie odzwierciedla jego unikalną tożsamość kulturową i wartości demokratyczne, dając przykład innym narodom dążącym do utrzymania swojego odrębnego miejsca w coraz bardziej połączonym świecie.