Enquanto os recentes avanços da China em inteligência artificial, particularmente com o lançamento do DeepSeek-R1, capturaram a atenção global, Taiwan está traçando um curso diferente, um que prioriza o desenvolvimento de modelos de linguagem que refletem sua identidade cultural única e valores democráticos. Este esforço visa criar um contrapeso aos sistemas de IA influenciados por regimes autoritários.
O Desafio DeepSeek
A revelação do DeepSeek-R1 em janeiro despertou considerável interesse dentro da comunidade tecnológica. Modelos de linguagem chinesa anteriores, como o Ernie da Baidu e o Doubao da ByteDance, mostraram promessa em aplicações de língua chinesa, matemática e codificação, mas foram limitados por proficiência em inglês mais fraca e acessibilidade restrita. DeepSeek-R1, no entanto, marcou um marco significativo como o primeiro LLM chinês a ganhar reconhecimento internacional.
Um dos aspectos mais marcantes do DeepSeek-R1 foi seu custo de desenvolvimento supostamente baixo. Em contraste com o GPT-4o da OpenAI, que supostamente custou mais de US$ 100 milhões para treinar, os pesquisadores do DeepSeek afirmaram que seu chatbot foi desenvolvido por apenas US$ 5,6 milhões. Alimentando ainda mais a narrativa de eficiência, os engenheiros do DeepSeek treinaram o modelo R1 usando CPUs de gama média como o Nvidia H800, em vez dos chips de ponta usados em modelos como GPT-4o ou Claude da Anthropic. Apesar das restrições dos EUA à exportação de chips de alto desempenho para a China, o DeepSeek-R1 conseguiu superar outros bots líderes usando apenas 2.048 processadores espalhados por 256 servidores.
Essa notável eficiência e menor custo de desenvolvimento foram amplamente atribuídos a técnicas de programação sofisticadas, incluindo PTX, uma linguagem semelhante a assembly que permite aos desenvolvedores ajustar o desempenho e maximizar o uso do hardware.
Pouco depois de seu lançamento, o aplicativo DeepSeek-R1 subiu para o topo do ranking de downloads gratuitos da Apple App Store dos EUA, superando o ChatGPT, TikTok e as plataformas de mídia social da Meta. A Nasdaq experimentou um declínio, e as ações da Nvidia despencaram após a estreia do DeepSeek-R1.
Questionando as Alegações do DeepSeek
Apesar do entusiasmo inicial, muitos observadores levantaram questões sobre a validade das alegações do DeepSeek em relação ao seu LLM. Analistas sugeriram que os números declarados provavelmente apenas contabilizam os custos computacionais, enquanto excluem ou subestimam as despesas de infraestrutura, hardware e recursos humanos.
Wesley Kuo, fundador e CEO da Ubitus, um provedor de serviços de IA generativa e jogos em nuvem com sede em Taipei, ecoou essas preocupações, afirmando que o custo real é provavelmente muito maior do que o que está sendo relatado. A Ubitus, com o apoio da Nvidia, apoiou o Projeto TAME, um LLM localizado usando caracteres chineses tradicionais. Eles forneceram CPUs H100 e dados de jogos. A Ubitus também colaborou com Foxlink e Shinfox Energy para estabelecer a Ubilink.AI, construindo o maior centro de serviços de supercomputação de IA movido a energia verde de Taiwan em colaboração com a Asus.
Kuo enfatiza o envolvimento da empresa no desenvolvimento de aplicações e modelos de LLM para governos, incluindo o governo japonês, em setores como jogos, turismo e varejo, destacando o potencial da IA para lidar com a escassez de mão de obra e o envelhecimento das populações.
Preocupações com a Integridade dos Dados
Kuo se alinha com a OpenAI e a Microsoft ao sugerir que o DeepSeek pode ter adquirido dados por meio da destilação de modelos. Este processo envolve o treinamento de modelos de linguagem menores para imitar as saídas de modelos maiores. A OpenAI e a Microsoft alegam que o DeepSeek utilizou a interface de programação de aplicações da OpenAI para facilitar seu desenvolvimento.
Kuo afirma que o DeepSeek obteve dados da OpenAI e que há mal-entendidos em torno das alegações da empresa sobre eficiência. Ele aponta que o DeepSeek-R1, com seus 670 bilhões de parâmetros, é significativamente maior do que o Llama 3.1 405B da Meta AI. Os parâmetros são valores numéricos internos que um modelo aprende durante o treinamento para fazer previsões. Kuo também sugere que os modelos do DeepSeek podem ter sido destilados do Llama 3.1.
Além dessas refutações, também surgiram preocupações em relação às capacidades do DeepSeek-R1. Especialistas sugerem que, como seus predecessores, o R1 se destaca em funções especializadas e específicas de tarefas, mas fica atrás das versões do GPT-4o em desempenho de propósito geral.
Uma grande limitação dos modelos do DeepSeek é a restrição ao acesso livre à informação. Os usuários descobriram que perguntas sobre tópicos políticos sensíveis eram recebidas com respostas evasivas. Em tópicos como o status da minoria Uyghur de Xinjiang e Taiwan, as respostas do DeepSeek refletem as posições oficiais do Partido Comunista Chinês. A pesquisa sugere que uma porção significativa das saídas do DeepSeek são censuradas para suprimir informações relacionadas à democracia, direitos humanos e reivindicações de soberania contestadas da China.
A Alternativa de Taiwan: TAIDE e Além
Em resposta, LLMs desenvolvidos em Taiwan, como o TAME, surgiram como alternativas ao DeepSeek dentro da Sinosphere. O Trustworthy AI Dialogue Engine (TAIDE), lançado em junho de 2023 pelo National Institute of Applied Research, visa desenvolver um modelo alinhado com as normas sociais, culturais e linguísticas de Taiwan.
Embora o trabalho no TAIDE pareça ter estagnado, ele serviu como um importante ponto de referência para o Projeto TAME. O TAME, desenvolvido pelo Machine Intelligence and Understanding Laboratory (MiuLab) na National Taiwan University, com financiamento de várias organizações, foi treinado em 500 bilhões de tokens. Ele superou os concorrentes, incluindo o GPT-4o, em 39 avaliações, alcançando pontuações mais altas em exames de entrada na universidade, bar e medicina tradicional chinesa.
Um dos objetivos do TAME é promover a cultura local. Desbloquear as capacidades da língua local é um passo significativo. Kuo menciona o desenvolvimento de um LLM de voz taiwanês baseado no Whisper, que alcançou resultados positivos na compreensão do taiwanês oral. Esforços estão em andamento para desenvolver o reconhecimento da língua Hakka.
Esses esforços foram bem recebidos por instituições em regiões onde essas línguas são prevalentes. Há também esforços para treinar o modelo no reconhecimento da língua indígena, mas dados limitados permanecem um obstáculo. Treinar a IA para aprender uma nova língua requer uma quantidade significativa de gravações de voz combinadas com texto.
Acessar dados históricos em arquivos governamentais apresenta outra oportunidade. No entanto, alguns dados são protegidos por direitos autorais. O surgimento da inteligência artificial geral oferece o potencial para ajudar na revitalização de línguas ameaçadas e extintas.
A Busca pela Soberania da IA
A interseção de língua e cultura sublinha a importância da soberania da IA como um meio de reforçar a identidade taiwanesa, comunicar a narrativa de Taiwan e proteger seu ambiente de informação.
Julian Chu, consultor da indústria e diretor do Market Intelligence & Consulting Institute (MIC), enfatiza o potencial de viés em modelos LLM e dados de treinamento. Ele observa que mesmo ao usar caracteres tradicionais, as saídas LLM podem refletir o estilo da República Popular da China e não capturar a cultura de Taiwan. O objetivo é que as empresas taiwanesas usem a língua ou dados taiwaneses para treinar LLMs e construir a soberania da IA.
Chu menciona o Formosa Foundation Model (FFM-Llama2) como outro LLM promissor de Taiwan. Lançado em setembro de 2023 pela Taiwan Web Service, visava democratizar a IA. A Foxconn também lançou seu LLM, FoxBrain, em março. No entanto, alguns comentaristas permanecem céticos em relação aos empreendimentos de grandes corporações em LLMs.
Lin Yen-ting, membro da equipe MiuLab que desenvolveu o TAME, enfatiza a necessidade de abordar a lacuna no ambiente de informação em relação a Taiwan. Ele observa que o DeepSeek-R1 e outros LLMs chineses apresentam uma visão distorcida de Taiwan. Modelos desenvolvidos nos EUA também podem, às vezes, deturpar Taiwan. Modelos de código aberto podem não priorizar Taiwan, e os dados de treinamento são dominados pela China.
Portanto, é importante incorporar seletivamente o conteúdo taiwanês e retreiná-lo no modelo. Esta abordagem proativa garante que o cenário cultural e linguístico único de Taiwan seja representado com precisão no reino digital, promovendo um senso de identidade nacional e preservando seu patrimônio distinto em face do desenvolvimento global da IA. Esta dedicação à preservação da identidade taiwanesa garante que a cultura e os valores únicos da nação insular não sejam obscurecidos por narrativas dominantes.
Os desafios inerentes a este esforço são substanciais. Construir um modelo de IA verdadeiramente representativo requer um investimento significativo de recursos, incluindo acesso a vastos conjuntos de dados de conteúdo localizado e experiência em processamento de linguagem natural. Além disso, a necessidade contínua de combater a desinformação e a informação tendenciosa exige um processo contínuo de refinamento e adaptação.
Apesar destes desafios, o compromisso de Taiwan com a soberania da IA permanece firme. O desenvolvimento do TAME e outros LLMs localizados representa um passo crucial para garantir que o futuro da inteligência artificial reflita a identidade cultural única da ilha, os valores democráticos e o compromisso inabalável de preservar o seu lugar distinto no mundo. Ao priorizar a soberania da IA, Taiwan não está apenas salvaguardando o seu património cultural, mas também posicionando-se como um interveniente-chave no cenário global da IA, demonstrando que o avanço tecnológico pode ser alinhado com a preservação da identidade cultural e dos princípios democráticos.
Continuando a Jornada
A jornada rumo à completa soberania da IA está em andamento. Mais pesquisa, desenvolvimento e colaboração são cruciais para superar os desafios e garantir o sucesso a longo prazo dessas iniciativas. Ao continuar a priorizar a soberania da IA, Taiwan pode criar um cenário digital que reflita verdadeiramente a sua identidade cultural única e os seus valores democráticos, dando o exemplo a outras nações que se esforçam para manter o seu lugar distinto num mundo cada vez mais interligado.