Domando o Cérebro de Silício: IA Local para Jornalismo

O canto da sereia da inteligência artificial torna-se mais alto, prometendo eficiência e transformação em todas as indústrias. Uma perspetiva particularmente atraente é executar modelos de IA poderosos diretamente em computadores pessoais, contornando a dependência da nuvem, taxas de subscrição e preocupações com a privacidade de dados. Gigantes como Google, Meta e Mistral AI disponibilizaram gratuitamente para download sofisticados Modelos de Linguagem Grandes (LLMs). Mas será que essa acessibilidade se traduz em utilidade prática? Podem estas mentes digitais, confinadas ao silício de um desktop ou laptop, realmente aumentar fluxos de trabalho complexos como a escrita jornalística? Este relato detalha uma extensa experiência projetada para responder precisamente a essa questão.

Preparando o Cenário: A Experiência de IA Local

Ao longo de vários meses, foi empreendido um esforço dedicado para avaliar o desempenho no mundo real de vários LLMs disponíveis gratuitamente para download, operando inteiramente em hardware local. A lista de modelos sob escrutínio era diversificada, refletindo o cenário em rápida evolução da IA de código aberto:

• Google Gemma (especificamente a versão 3)
• Meta Llama (versão 3.3)
• Anthropic Claude (versão 3.7 Sonnet – embora tipicamente baseado na nuvem, a sua inclusão sugere testes amplos)
• Múltiplas iterações da Mistral AI (incluindo Mistral, Mistral Small 3.1, Mistral Nemo e Mixtral)
• IBM Granite (versão 3.2)
• Alibaba Qwen (versão 2.5)
• DeepSeek R1 (uma camada de raciocínio frequentemente aplicada sobre versões destiladas do Qwen ou Llama)

O objetivo central era ambicioso, mas prático: determinar se estas IAs executadas localmente poderiam transformar transcrições brutas de entrevistas em artigos polidos e publicáveis. Isso envolvia avaliar não apenas a viabilidade técnica – o hardware conseguiria lidar com a carga? – mas também o resultado qualitativo – o texto resultante era utilizável? É crucial afirmar desde já que alcançar um artigo totalmente automatizado e pronto para publicação provou ser ilusório. O objetivo principal mudou para a compreensão das capacidades e limitações genuínas da IA atual no dispositivo através deste caso de uso específico e exigente.

A metodologia escolhida centrou-se num prompt substancial. Este incluía aproximadamente 1.500 tokens (cerca de 6.000 caracteres ou duas páginas completas de texto) delineando meticulosamente a estrutura, estilo e tom desejados do artigo. Adicionada a este conjunto de instruções estava a própria transcrição da entrevista, com uma média de cerca de 11.000 tokens para uma conversa típica de 45 minutos. O tamanho puro desta entrada combinada (frequentemente excedendo 12.500 tokens) normalmente ultrapassa os limites de uso gratuito de muitas plataformas de IA online. Esta restrição sublinhou a lógica para explorar a implementação local,onde o processamento permanece gratuito independentemente do tamanho da entrada, limitado apenas pelas capacidades da máquina.

A execução destes testes envolveu o uso do LM Studio, um software comunitário popular que fornece uma interface amigável tipo chatbot para interagir com LLMs executados localmente. O LM Studio integra convenientemente funções para baixar várias versões de modelos, embora a fonte primária para estes modelos disponíveis gratuitamente continue a ser o repositório Hugging Face, um hub central para a comunidade de IA.

Navegando no Labirinto Técnico: Hardware, Memória e Tamanho do Modelo

A jornada no processamento local de IA revelou rapidamente uma interação complexa entre software e hardware. A qualidade e a velocidade da saída da IA estavam intimamente ligadas aos recursos disponíveis na máquina de teste – um Mac equipado com um system-on-chip (SoC) Apple Silicon M1 Max e generosos 64 GB de RAM. Crucialmente, esta arquitetura apresenta Unified Memory Architecture (UMA), permitindo que 48 GB de RAM sejam partilhados dinamicamente entre os núcleos do processador (CPU), núcleos gráficos (GPU – usados para aceleração vetorial) e núcleos da unidade de processamento neural (NPU – usados para aceleração matricial).

Vários fatores técnicos chave emergiram como decisivos:

1. Parâmetros do Modelo: Os LLMs são frequentemente medidos pelo seu número de parâmetros (milhares de milhões, tipicamente). Modelos maiores geralmente possuem maior conhecimento e nuance. No entanto, exigem significativamente mais memória.
2. Quantização: Refere-se à precisão usada para armazenar os parâmetros do modelo (por exemplo, 8 bits, 4 bits, 3 bits). Uma precisão de bits mais baixa reduz drasticamente a pegada de memória e aumenta a velocidade de processamento, mas muitas vezes à custa da precisão e da qualidade da saída (introduzindo erros, repetição ou linguagem sem sentido).
3. Janela de Contexto: Define a quantidade máxima de informação (prompt + dados de entrada) que a IA pode considerar de uma só vez, medida em tokens. O tamanho da janela necessário é ditado pela tarefa; neste caso, o prompt grande e a transcrição necessitavam de uma janela substancial.
4. RAM Disponível: A quantidade de memória limita diretamente quais modelos (e em que nível de quantização) podem ser carregados e executados eficazmente.

O ponto ideal, proporcionando o melhor equilíbrio entre qualidade e viabilidade na máquina de teste no momento da avaliação, foi alcançado usando o modelo Gemma do Google com 27 mil milhões de parâmetros, quantizado para 8 bits (versão ‘27B Q8_0’). Esta configuração operou dentro de uma janela de contexto de 32.000 tokens, lidando confortavelmente com a entrada de aproximadamente 15.000 tokens (instruções + transcrição). Funcionou no hardware Mac especificado, utilizando os 48 GB de memória partilhada.

Nestas condições ótimas, a velocidade de processamento foi medida em 6,82 tokens por segundo. Embora funcional, está longe de ser instantâneo. Melhorias de velocidade sem sacrificar a qualidade da saída dependem principalmente de hardware mais rápido – especificamente, SoCs com velocidades de clock mais altas (GHz) ou um maior número de núcleos de processamento (CPU, GPU, NPU).

Tentar carregar modelos com significativamente mais parâmetros (por exemplo, 32 mil milhões, 70 mil milhões) atingiu rapidamente o teto de memória. Estes modelos maiores ou falharam completamente ao carregar ou produziram uma saída severamente truncada e inutilizável (como um único parágrafo em vez de um artigo completo). Por outro lado, usar modelos com menos parâmetros, embora libertasse memória, resultou numa queda notável na qualidade da escrita, caracterizada por repetição e ideias mal articuladas. Da mesma forma, empregar quantização mais agressiva (reduzindo parâmetros para 3, 4, 5 ou 6 bits) aumentou a velocidade, mas degradou severamente a saída, introduzindo erros gramaticais e até palavras inventadas.

O tamanho da janela de contexto necessária, determinado pelos dados de entrada, é essencialmente inegociável para a tarefa. Se os dados de entrada exigirem uma janela que, combinada com o tamanho do modelo e a quantização escolhidos, exceda a RAM disponível, o único recurso é selecionar um modelo menor, comprometendo inevitavelmente a qualidade potencial do resultado final para permanecer dentro dos limites de memória.

A Busca pela Qualidade: Quando a Estrutura Encontra a Substância (ou a Falta Dela)

A IA executada localmente conseguiu gerar artigos utilizáveis? Sim e não. Os textos gerados exibiam frequentemente uma estrutura surpreendentemente boa. Geralmente aderiam ao formato solicitado, apresentando:

• Um ângulo ou foco discernível.
• Um fluxo coerente através de secções temáticas.
• Citações da transcrição colocadas apropriadamente.
• Títulos envolventes e frases conclusivas.

No entanto, uma falha crítica emergiu consistentemente em todos os LLMs testados, incluindo aqueles como o DeepSeek R1, especificamente projetado para raciocínio aprimorado: uma incapacidade fundamental de discernir e priorizar corretamente a relevância da informação dentro da entrevista. Os modelos de IA consistentemente falhavam em captar o cerne da conversa, focando-se em pontos secundários ou detalhes tangenciais.

O resultado eram frequentemente artigos gramaticalmente corretos e bem organizados, mas, em última análise, superficiais e desinteressantes. Em alguns casos, a IA dedicaria passagens significativas e bem argumentadas a afirmar o óbvio – por exemplo, elaborando longamente que a empresa entrevistada opera num mercado com concorrentes. Isso destacou uma lacuna entre a competência linguística (formar frases coerentes) e a compreensão genuína (entender a importância e o contexto).

Além disso, a saída estilística variou consideravelmente entre os modelos:

• Llama 3.x da Meta: Na altura dos testes, produzia frases que eram frequentemente convolutas e difíceis de analisar.
• Modelos Mistral & Gemma: Mostraram uma tendência para um estilo de “linguagem de marketing”, empregando adjetivos efusivos e enquadramento positivo, mas carecendo de substância concreta e detalhes específicos.
• Qwen da Alibaba: Surpreendentemente, dentro das restrições da configuração de teste, este modelo chinês produziu algumas das prosas esteticamente mais agradáveis em francês (a língua da equipa de avaliação original).
• Mixtral 8x7B: Inicialmente, este modelo de “mistura de especialistas” (combinando oito modelos menores e especializados de 7 mil milhões de parâmetros) mostrou-se promissor. No entanto, encaixá-lo na restrição de memória de 48 GB exigiu uma quantização agressiva de 3 bits, o que levou a erros de sintaxe significativos. Uma versão quantizada de 4 bits (‘Q4_K_M’) ofereceu um compromisso melhor inicialmente, mas atualizações subsequentes ao software LM Studio aumentaram a sua pegada de memória, fazendo com que esta configuração também produzisse resultados truncados.
• Mistral Small 3.1: Um modelo mais recente com 24 mil milhões de parâmetros em quantização de 8 bits emergiu como um forte concorrente. A sua qualidade de saída aproximou-se da do modelo Gemma 27B, e ofereceu uma ligeira vantagem de velocidade, processando a 8,65 tokens por segundo.

Esta variação sublinha que escolher um LLM não é apenas uma questão de tamanho ou velocidade; os dados de treino subjacentes e a arquitetura influenciam significativamente o seu estilo de escrita e potenciais vieses.

Arquitetura de Hardware: O Herói Desconhecido da IA Local

As experiências lançaram luz sobre um fator crucial, muitas vezes negligenciado: a arquitetura de hardware subjacente, especificamente como a memória é acedida. O desempenho superior observado no Mac com Apple Silicon não se deveu apenas à quantidade de RAM, mas dependeu criticamente da sua Unified Memory Architecture (UMA).

Num sistema UMA, os núcleos CPU, GPU e NPU partilham todos o mesmo pool de RAM física e podem aceder aos dados nos mesmos endereços de memória simultaneamente. Isto elimina a necessidade de copiar dados entre pools de memória separados dedicados a diferentes processadores (por exemplo, RAM do sistema para a CPU e VRAM dedicada para uma placa gráfica discreta).

Porque é que isto é tão importante para os LLMs?

• Eficiência: O processamento de LLM envolve computação intensa em diferentes tipos de núcleos. A UMA permite a partilha de dados sem interrupções, reduzindo a latência e a sobrecarga associadas à duplicação e transferência de dados.
• Utilização da Memória: Em sistemas sem UMA (como um PC típico com uma GPU discreta), os mesmos dados podem precisar de ser carregados tanto na RAM principal do sistema (para a CPU) como na VRAM da GPU. Isto reduz efetivamente a memória utilizável para o próprio LLM.

A implicação prática é significativa. Enquanto o Mac de teste conseguia executar confortavelmente um modelo de 27 mil milhões de parâmetros, quantizado a 8 bits, usando 48 GB de RAM UMA partilhada, alcançar um desempenho semelhante num PC sem UMA poderia exigir substancialmente mais RAM total. Por exemplo, um PC com 48 GB de RAM total dividida em 24 GB para a CPU e 24 GB para a GPU poderia apenas ser capaz de executar eficazmente um modelo muito menor de 13 mil milhões de parâmetros, devido ao particionamento da memória e à sobrecarga de duplicação de dados.

Esta vantagem arquitetónica explica a liderança inicial que os Macs com chips Apple Silicon ganharam no espaço da IA local. Reconhecendo isto, concorrentes como a AMD anunciaram a sua gama de SoCs Ryzen AI Max (esperada no início de 2025) projetada para incorporar uma abordagem de memória unificada semelhante. Na altura destes testes, os SoCs Core Ultra da Intel, embora integrando CPU, GPU e NPU, não apresentavam o mesmo nível de acesso à memória totalmente unificado entre todos os tipos de núcleos. Esta distinção de hardware é uma consideração crítica para qualquer pessoa que leve a sério a execução local de LLMs maiores e mais capazes.

A Dança Intrincada da Engenharia de Prompts

Fazer com que uma IA execute uma tarefa complexa como transformar uma entrevista num artigo requer mais do que apenas hardware poderoso e um modelo capaz; exige instrução sofisticada – a arte e a ciência da engenharia de prompts. Criar o prompt inicial de 1.500 tokens que guiou a IA foi uma tarefa significativa.

Um ponto de partida útil envolveu a engenharia reversa: fornecer à IA um artigo completo, escrito por humanos, juntamente com a sua transcrição correspondente e perguntar qual prompt deveria ter sido dado para alcançar esse resultado. Analisar as sugestões da IA em vários exemplos diversos ajudou a identificar elementos essenciais para o conjunto de instruções.

No entanto, as sugestões de prompt geradas pela IA eram consistentemente demasiado breves e careciam do detalhe necessário para guiar a criação de um artigo abrangente. O verdadeiro trabalho consistiu em pegar nestas pistas iniciais fornecidas pela IA e elaborá-las, incorporando conhecimento profundo do domínio sobre estrutura jornalística, tom, estilo e considerações éticas.

Várias lições não intuitivas emergiram:

• Clareza sobre Elegância: Surpreendentemente, escrever o prompt num estilo mais natural e fluente muitas vezes diminuía a compreensão da IA. Os modelos lutavam com a ambiguidade, particularmente pronomes (“ele”, “isso”, “este”). A abordagem mais eficaz envolveu sacrificar a legibilidade humana pela precisão da máquina, repetindo explicitamente os sujeitos (“o artigo deve…”, “o tom do artigo tem de…”, “a introdução do artigo precisa…”) para evitar qualquer potencial má interpretação.
• A Natureza Elusiva da Criatividade: Apesar do design cuidadoso do prompt visando permitir flexibilidade, os artigos gerados pela IA partilhavam consistentemente uma “semelhança familiar”. Capturar a amplitude da criatividade humana e da variação estilística dentro de um único prompt, ou mesmo de múltiplos prompts concorrentes, provou ser excepcionalmente difícil. A verdadeira variedade parecia exigir mudanças mais fundamentais do que o ajuste de prompts por si só poderia fornecer.

A engenharia de prompts não é uma tarefa única, mas um processo iterativo de refinamento, teste e incorporação de lógica de negócios específica e nuances estilísticas. Requer uma mistura de compreensão técnica e profundo conhecimento da matéria.

A Mudança na Carga de Trabalho: Desvendando o Paradoxo da IA

As experiências levaram finalmente a uma constatação crítica, denominada paradoxo da IA: no seu estado atual, para que a IA possa potencialmente aliviar alguma carga de trabalho do utilizador (escrever o rascunho do artigo), o utilizador tem frequentemente de investir mais trabalho preliminar.

A questão central permaneceu a incapacidade da IA de avaliar de forma fiável a relevância dentro da transcrição bruta da entrevista. Para produzir um artigo pertinente, simplesmente fornecer a transcrição inteira era insuficiente. Um passo intermediário necessário emergiu: pré-processar manualmente a transcrição. Isto envolvia:

1. Remover conversas irrelevantes, digressões e redundâncias.
2. Potencialmente adicionar notas contextuais (mesmo que não destinadas ao artigo final) para guiar a compreensão da IA.
3. Selecionar cuidadosamente e talvez reordenar segmentos chave.

Esta “curadoria” da transcrição requer tempo e julgamento humanos significativos. O tempo poupado por ter a IA a gerar um primeiro rascunho foi efetivamente compensado, ou mesmo superado, pela nova tarefa de preparar meticulosamente os seus dados de entrada. A carga de trabalho não desapareceu; apenas se deslocou da escrita direta para a preparação de dados e refinamento de prompts.

Além disso, o prompt detalhado de 1.500 tokens era altamente específico para um tipo de artigo (por exemplo, uma entrevista sobre o lançamento de um produto). Cobrir a gama diversificada de formatos de artigos que um jornalista produz diariamente – perfis de startups, análises estratégicas, cobertura de eventos, investigações de múltiplas fontes – exigiria desenvolver, testar e manter um prompt separado e igualmente detalhado para cada caso de uso. Isto representa um investimento substancial inicial e contínuo em engenharia.

Pior ainda, estas extensas experiências, abrangendo mais de seis meses, apenas arranharam a superfície. Focaram-se no cenário mais simples: gerar um artigo a partir de uma única entrevista, muitas vezes realizada em ambientes controlados como conferências de imprensa, onde os pontos do entrevistado já estão de alguma forma estruturados. As tarefas muito mais complexas, mas comuns, de sintetizar informação de múltiplas entrevistas, incorporar pesquisa de fundo ou lidar com conversas menos estruturadas permaneceram inexploradas devido ao investimento de tempo necessário mesmo para o caso básico.

Portanto, embora executar LLMs localmente seja tecnicamente viável e ofereça benefícios em termos de custo e privacidade de dados, a noção de que isso prontamente poupa tempo ou esforço para trabalho de conhecimento complexo como o jornalismo é, com base nesta investigação, ilusória no presente. O esforço necessário simplesmente transforma-se, movendo-se a montante para a preparação de dados e engenharia de prompts altamente específica. Nestes desafios específicos – discernir relevância, exigir pré-processamento extensivo – a IA executada localmente teve um desempenho comparável aos serviços online pagos, sugerindo que estas são limitações fundamentais da geração atual de LLMs, independentemente do método de implementação. O caminho para uma assistência de IA verdadeiramente integrada em tais domínios permanece intrincado e exige maior evolução tanto nas capacidades da IA quanto nos nossos métodos de interação com elas.