Tradutor: IA Open-Source para Português Europeu

Colmatando a Divisão Linguística na Tradução Automática

Uma equipa colaborativa de investigadores da Universidade do Porto, INESC TEC, Universidade de Heidelberg, Universidade da Beira Interior e Ci2 – Smart Cities Research Center apresentou o Tradutor, um modelo pioneiro de tradução de IA open-source meticulosamente projetado para o português europeu. Este projeto inovador aborda diretamente uma disparidade significativa no campo da tradução automática, onde o português brasileiro, falado pela grande maioria dos falantes de português em todo o mundo, muitas vezes ofusca a sua contraparte europeia.

O Desafio da Negligência Linguística

Os investigadores sublinham uma questão crítica: a maioria dos sistemas de tradução existentes concentra-se predominantemente no português brasileiro. Essa priorização marginaliza inadvertidamente os falantes de Portugal e de outras regiões onde o português europeu é prevalente. As consequências desse viés linguístico podem ser de longo alcance, especialmente em setores críticos como saúde e serviços jurídicos, onde a compreensão precisa e diferenciada da linguagem é fundamental. Imagine um cenário em que um documento médico ou um contrato legal é traduzido com imprecisões subtis, mas cruciais, devido à falta de familiaridade do sistema com expressões idiomáticas e expressões do português europeu. O potencial para interpretações erradas e erros é significativo.

PTradutor: Um Corpus Paralelo Massivo para Maior Precisão

Para enfrentar esse desafio de frente, a equipa de investigação desenvolveu o PTradutor, um corpus paralelo excecionalmente abrangente. Este recurso inestimável compreende mais de 1,7 milhão de documentos, meticulosamente emparelhados em inglês e português europeu. A escala e a diversidade deste conjunto de dados são notáveis. Abrange uma vasta gama de domínios, incluindo:

• Jornalismo: Fornecendo uma rica fonte de uso da linguagem contemporânea e estilos de reportagem.
• Literatura: Capturando as nuances da escrita formal e criativa.
• Conteúdo da Web: Refletindo o cenário em constante evolução da comunicação online.
• Política: Garantindo a tradução precisa de declarações oficiais e documentos de política.
• Documentos Legais: Abordando a necessidade crítica de precisão na terminologia e fraseologia jurídica.
• Redes Sociais: Incorporando a linguagem informal e dinâmica característica das interações online.

Esta abordagem multifacetada garante que o Tradutor seja treinado numa base linguística que representa com precisão a amplitude e profundidade do português europeu, tal como é usado em vários contextos.

Um Processo de Curadoria Rigoroso: Garantindo a Integridade dos Dados

A criação do PTradutor envolveu um processo de curadoria meticuloso e multifásico. Os investigadores começaram por recolher uma grande quantidade de textos monolíngues em português europeu. Esses textos foram então traduzidos para o inglês, aproveitando a acessibilidade e a qualidade relativamente alta do Google Translate. No entanto, reconhecendo o potencial de imperfeições em qualquer processo de tradução automatizado, a equipa implementou uma série de verificações de qualidade rigorosas. Essas verificações foram cruciais para manter a integridade dos dados e garantir que o corpus paralelo fosse o mais preciso e confiável possível.

Como afirmaram, ‘Fornecemos à comunidade o maior conjunto de dados de tradução para português europeu e inglês’. Esta declaração destaca o compromisso da equipa não apenas em desenvolver um modelo de tradução de última geração, mas também em contribuir com um recurso valioso para a comunidade de investigação mais ampla.

Ajuste Fino de LLMs Open-Source: Uma Abordagem Poderosa

Com o conjunto de dados PTradutor como base, os investigadores embarcaram na tarefa de ajustar três modelos de linguagem grandes (large language models - LLMs) open-source proeminentes:

1. Gemma-2 2B do Google: Um modelo poderoso conhecido pela sua eficiência e desempenho.
2. Phi-3 mini da Microsoft: Um modelo compacto, mas surpreendentemente capaz, ideal para ambientes com recursos limitados.
3. LLaMA-3 8B da Meta: Um modelo maior e mais complexo, oferecendo precisão potencialmente maior.

O processo de ajuste fino envolveu duas abordagens distintas:

• Treino Completo do Modelo: Isso envolve ajustar todos os parâmetros do LLM, permitindo a máxima adaptação à tarefa específica de traduzir inglês para português europeu.
• Técnicas Eficientes em Parâmetros (LoRA): Low-Rank Adaptation (LoRA) é uma abordagem mais eficiente que se concentra em ajustar um subconjunto menor dos parâmetros do modelo. Esta técnica reduz o custo computacional e o tempo necessário para o ajuste fino, tornando-o particularmente atraente para investigadores com recursos limitados.

Esta abordagem dupla permite uma comparação das compensações entre desempenho e eficiência, fornecendo insights valiosos para pesquisas futuras.

Desempenho Impressionante: Desafiando os Padrões da Indústria

As primeiras avaliações do Tradutor produziram resultados excecionalmente promissores. O modelo demonstra uma capacidade notável de superar muitos sistemas de tradução open-source existentes. Ainda mais impressionante, atinge níveis de desempenho que são competitivos com alguns dos principais modelos comerciais closed-source disponíveis na indústria.

Especificamente, o modelo LLaMA-3 8B ajustado destaca-se, excedendo o desempenho dos sistemas open-source existentes e aproximando-se da qualidade dos modelos closed-source padrão da indústria, como o Google Translate e o DeepL. Essa conquista é uma prova da eficácia da abordagem da equipa de investigação e da qualidade do conjunto de dados PTradutor.

Os investigadores enfatizam que o seu objetivo principal não era necessariamente superar os modelos comerciais. Em vez disso, o seu foco era ‘propor um método computacionalmente eficiente, adaptável e com poucos recursos para adaptar pequenos modelos de linguagem para traduzir variedades linguísticas específicas’. O facto de o Tradutor atingir resultados comparáveis aos modelos líderes da indústria é uma ‘conquista significativa’, sublinhando o potencial da sua metodologia.

Além do Português Europeu: Uma Solução Escalável

Embora o Tradutor tenha sido especificamente desenvolvido como um estudo de caso para o português europeu, os investigadores destacam a aplicabilidade mais ampla da sua metodologia. As mesmas técnicas e princípios podem ser prontamente aplicados a outras línguas que enfrentam desafios semelhantes de sub-representação no cenário da tradução automática. Essa escalabilidade é um ponto forte do projeto, oferecendo um caminho potencial para melhorar a qualidade da tradução para uma ampla gama de línguas e dialetos.

Promovendo a Inclusão Linguística na IA

Ao tornar o conjunto de dados PTradutor, o código usado para replicá-lo e o próprio modelo Tradutor open-source, a equipa de investigação está a dar uma contribuição significativa para o campo mais amplo do processamento de linguagem natural. O seu objetivo é incentivar mais investigação e desenvolvimento em tradução automática (TA) específica para variedades linguísticas. Este compromisso com a ciência aberta e a colaboração é crucial para promover uma maior inclusão linguística em sistemas baseados em IA. A declaração final da equipa resume a sua visão: ‘Pretendemos apoiar e incentivar mais investigação, promovendo avanços na representação de variedades linguísticas sub-representadas’. Esta declaração serve como um apelo à ação para a comunidade de investigação, incentivando esforços contínuos para abordar os vieses linguísticos que persistem em muitos sistemas de IA.

Aprofundando os Aspectos Técnicos

O processo de ajuste fino, um elemento crítico do sucesso do Tradutor, merece uma análise mais aprofundada. Os investigadores empregaram uma combinação de ajuste fino completo e técnicas de ajuste fino eficientes em parâmetros (PEFT), especificamente LoRA. O ajuste fino completo, embora computacionalmente intensivo, permite que o modelo adapte todos os seus parâmetros às características específicas da língua portuguesa europeia. Essa adaptação abrangente pode levar a melhorias significativas na qualidade da tradução, particularmente para estruturas linguísticas diferenciadas e complexas.

O LoRA, por outro lado, oferece uma alternativa mais eficiente em termos de recursos. Ao concentrar-se em adaptar apenas um pequeno subconjunto dos parâmetros do modelo, o LoRA reduz significativamente o custo computacional e o tempo necessário para o ajuste fino. Essa abordagem é particularmente valiosa para investigadores e desenvolvedores que podem não ter acesso a recursos de computação de alto desempenho. O sucesso do LoRA no projeto Tradutor demonstra que resultados de tradução de alta qualidade podem ser alcançados mesmo com poder computacional limitado.

A escolha dos LLMs – Gemma-2 2B, Phi-3 mini e LLaMA-3 8B – também reflete uma abordagem estratégica. O Gemma-2 2B é conhecido pela sua eficiência, tornando-o adequado para implantação em ambientes com recursos limitados. O Phi-3 mini, apesar do seu tamanho compacto, demonstrou um desempenho impressionante, mostrando o potencial de modelos menores para tarefas específicas. O LLaMA-3 8B, sendo o maior dos três, oferece o potencial para a maior precisão, embora com um custo computacional mais alto. Ao avaliar os três modelos, os investigadores fornecem uma análise abrangente das compensações de desempenho-eficiência, oferecendo orientação valiosa para futuras pesquisas e desenvolvimento na área.

A Importância dos Corpora Paralelos

O conjunto de dados PTradutor, com os seus 1,7 milhão de pares de documentos, é uma prova da importância de corpora paralelos grandes e de alta qualidade na tradução automática. A diversidade de domínios abrangidos pelo conjunto de dados – do jornalismo e literatura a documentos legais e redes sociais – garante que o modelo seja treinado numa amostra representativa do uso da língua portuguesa europeia. Essa ampla cobertura é crucial para alcançar traduções precisas e diferenciadas numa ampla gama de contextos.

O processo de curadoria meticuloso, envolvendo tradução automatizada e verificações de qualidade rigorosas, aumenta ainda mais a confiabilidade do conjunto de dados. O compromisso dos investigadores com a integridade dos dados é evidente na sua descrição detalhada da metodologia de curadoria, enfatizando a importância de minimizar erros e garantir a precisão dos textos paralelos.

Direções Futuras e Aplicações Potenciais

O projeto Tradutor abre caminhos interessantes para futuras pesquisas e desenvolvimento. A metodologia dos investigadores pode ser aplicada a outras línguas e dialetos sub-representados, potencialmente levando a uma expansão significativa das línguas suportadas por sistemas de tradução automática de alta qualidade.

Além da aplicação imediata da tradução entre inglês e português europeu, o Tradutor também pode servir como uma ferramenta valiosa para várias outras tarefas, tais como:

• Recuperação de informação interlingual: Permitindo que os utilizadores pesquisem informações numa língua e recuperem documentos relevantes noutra.
• Aprendizagem de línguas assistida por máquina: Fornecendo aos alunos traduções precisas e contextualmente apropriadas para auxiliar no seu processo de aquisição de línguas.
• Comunicação intercultural: Facilitando a comunicação entre indivíduos que falam línguas diferentes, promovendo maior compreensão e colaboração.
• Análise de Sentimento: O modelo pode ser treinado para tarefas de análise de sentimento.

A natureza open-source do projeto incentiva mais inovação e colaboração, abrindo caminho para um futuro mais inclusivo e linguisticamente diverso para as tecnologias baseadas em IA. O projeto Tradutor não é apenas uma conquista técnica; é um passo significativo para colmatar a divisão linguística e garantir que os benefícios da IA sejam acessíveis a todos, independentemente da língua que falam.