Estudos recentes revelaram uma tendência preocupante: os modelos ChatGPT mais novos estão exibindo uma taxa maior de alucinações em comparação com seus predecessores. Essa descoberta levanta questões críticas sobre as compensações entre capacidades avançadas e confiabilidade em grandes modelos de linguagem (LLMs). Vamos nos aprofundar nos detalhes dessas descobertas e explorar as implicações potenciais.
Entendendo o Fenômeno
Os testes internos da OpenAI, detalhados em um artigo recente, destacam um aumento significativo nas taxas de alucinação em modelos como o3 e o4-mini. Esses modelos, projetados com raciocínio avançado e capacidades multimodais, representam o que há de mais moderno em tecnologia de IA. Eles podem gerar imagens, conduzir pesquisas na web, automatizar tarefas, lembrar conversas passadas e resolver problemas complexos. No entanto, esses avanços parecem ter um custo.
Para quantificar a extensão dessas alucinações, a OpenAI emprega um teste específico chamado PersonQA. Este teste envolve alimentar o modelo com um conjunto de fatos sobre vários indivíduos e, em seguida, fazer perguntas sobre esses indivíduos. A precisão do modelo é então avaliada com base em sua capacidade de fornecer respostas corretas.
Em avaliações anteriores, o modelo o1 alcançou uma taxa de precisão louvável de 47% com uma taxa de alucinação de apenas 16%. No entanto, quando o o3 e o o4-mini foram submetidos à mesma avaliação, os resultados foram marcadamente diferentes.
O modelo o4-mini, sendo uma variante menor com menos conhecimento mundial, esperava-se que exibisse uma taxa de alucinação mais alta. No entanto, a taxa real de 48% foi surpreendentemente alta, considerando que o o4-mini é um produto disponível comercialmente amplamente utilizado para pesquisas na web e recuperação de informações.
O modelo o3 de tamanho normal também demonstrou uma tendência preocupante a alucinar. Em 33% de suas respostas, o modelo fabricou informações, efetivamente dobrando a taxa de alucinação do modelo o1. Apesar disso, o o3 também alcançou uma alta taxa de precisão, que a OpenAI atribui à sua propensão a fazer mais afirmações no geral.
Definindo Alucinações
O termo ‘alucinação’, no contexto da IA, refere-se à tendência de um modelo gerar respostas que são factualmente incorretas ou sem sentido, sem qualquer fonte ou justificativa aparente. Estes não são simplesmente erros decorrentes de dados ruins ou má interpretação. Em vez disso, as alucinações representam uma falha mais fundamental no processo de raciocínio do modelo.
Embora informações imprecisas possam certamente originar-se de várias fontes, como entradas da Wikipédia ou threads do Reddit, essas instâncias são mais semelhantes a erros rastreáveis que podem ser atribuídos a pontos de dados específicos. As alucinações, por outro lado, são caracterizadas pela invenção de fatos pelo modelo de IA em momentos de incerteza, um fenômeno que alguns especialistas chamaram de ‘preenchimento criativo de lacunas’.
Para ilustrar este ponto, considere a pergunta: ‘Quais são os sete modelos de iPhone 16 disponíveis agora?’ Como apenas a Apple sabe qual será o próximo iPhone, o LLM provavelmente fornecerá algumas respostas reais - e então inventará modelos adicionais para terminar o trabalho. Este é um exemplo claro de alucinação, onde o modelo fabrica informações para concluir a tarefa, ou o que é referido como ‘preenchimento criativo de lacunas’.
O Papel dos Dados de Treinamento
Chatbots como o ChatGPT são treinados em vastas quantidades de dados da Internet. Esses dados informam o conteúdo de suas respostas, mas também moldam como eles respondem. Os modelos são expostos a inúmeros exemplos de consultas e respostas ideais correspondentes, o que reforça tons, atitudes e níveis de cortesia específicos.
Este processo de treinamento pode inadvertidamente contribuir para o problema das alucinações. Os modelos são incentivados a fornecer respostas confiantes que abordem diretamente a questão. Isso pode levá-los a priorizar responder à pergunta, mesmo que tenham que inventar informações para fazê-lo, em vez de admitir que não sabem a resposta.
Em essência, o processo de treinamento pode inadvertidamente recompensar respostas confiantes e aparentemente conhecedoras, mesmo que sejam factualmente incorretas. Isso pode criar um viés em direção à geração de respostas, independentemente de sua precisão, o que pode exacerbar o problema das alucinações.
A Natureza dos Erros de IA
É tentador traçar paralelos entre erros de IA e erros humanos. Afinal, os humanos não são infalíveis e também não devemos esperar que a IA seja perfeita. No entanto, é crucial reconhecer que os erros de IA decorrem de processos fundamentalmente diferentes dos erros humanos.
Os modelos de IA não mentem, desenvolvem mal-entendidos ou se lembram mal de informações da mesma forma que os humanos. Eles carecem das habilidades cognitivas e da consciência contextual que sustentam o raciocínio humano. Em vez disso, eles operam com base em probabilidades, prevendo a próxima palavra em uma frase com base em padrões observados em seus dados de treinamento.
Essa abordagem probabilística significa que os modelos de IA não possuem uma verdadeira compreensão de precisão ou imprecisão. Eles simplesmente geram a sequência de palavras mais provável com base nas relações estatísticas que aprenderam com seus dados de treinamento. Isso pode levar à geração de respostas aparentemente coerentes que são, de fato, factualmente incorretas.
Embora os modelos sejam alimentados com todo o valor da Internet em informações, eles não são informados quais informações são boas ou ruins, precisas ou imprecisas - eles não são informados nada. Eles também não têm conhecimento fundamental existente ou um conjunto de princípios subjacentes para ajudá-los a classificar as informações por si mesmos. É tudo apenas um jogo de números - os padrões de palavras que existem com mais frequência em um determinado contexto se tornam a ‘verdade’ do LLM.
Abordando o Desafio
A crescente taxa de alucinações em modelos avançados de IA representa um desafio significativo. OpenAI e outros desenvolvedores de IA estão trabalhando ativamente para entender e mitigar esse problema. No entanto, as causas subjacentes das alucinações não são totalmente compreendidas e encontrar soluções eficazes continua sendo um esforço contínuo.
Uma abordagem potencial é melhorar a qualidade e a diversidade dos dados de treinamento. Ao expor os modelos a informações mais precisas e abrangentes, os desenvolvedores podem reduzir a probabilidade de eles aprenderem e perpetuarem informações falsas.
Outra abordagem é desenvolver técnicas mais sofisticadas para detectar e prevenir alucinações. Isso pode envolver o treinamento dos modelos para reconhecer quando estão incertos sobre uma determinada informação e para se abster de fazer alegações sem evidências suficientes.
Enquanto isso, a OpenAI pode precisar buscar uma solução de curto prazo, bem como continuar sua pesquisa sobre a causa raiz. Afinal, esses modelos são produtos que geram dinheiro e precisam estar em um estado utilizável. Uma ideia seria criar algum tipo de produto agregado - uma interface de bate-papo que tenha acesso a vários modelos OpenAI diferentes.
Quando uma consulta exigir raciocínio avançado, ela chamará o GPT-4o e, quando quiser minimizar as chances de alucinações, ela chamará um modelo mais antigo como o o1. Talvez a empresa possa ficar ainda mais sofisticada e usar diferentes modelos para cuidar de diferentes elementos de uma única consulta e, em seguida, usar um modelo adicional para juntar tudo no final. Como isso seria essencialmente um trabalho em equipe entre vários modelos de IA, talvez algum tipo de sistema de verificação de fatos também pudesse ser implementado.
Aumentar as taxas de precisão não é o objetivo principal. O objetivo principal é diminuir as taxas de alucinação, o que significa que precisamos valorizar as respostas que dizem ‘Eu não sei’, bem como as respostas com as respostas certas.
A Importância da Verificação de Fatos
A crescente prevalência de alucinações em modelos de IA ressalta a importância da verificação de fatos. Embora esses modelos possam ser ferramentas valiosas para recuperação de informações e automação de tarefas, eles não devem ser tratados como fontes infalíveis da verdade.
Os usuários devem sempre ter cautela ao interpretar a saída de modelos de IA e devem verificar independentemente qualquer informação que recebam. Isso é especialmente crucial ao lidar com questões delicadas ou consequentes.
Ao adotar uma abordagem crítica e cética ao conteúdo gerado por IA, podemos mitigar os riscos associados às alucinações e garantir que estamos tomando decisões informadas com base em informações precisas. Se você gosta muito de LLMs, não há necessidade de parar de usá-los - mas não deixe que o desejo de economizar tempo supere a necessidade de verificar os resultados. Sempre verifique os fatos!
Implicações para o Futuro da IA
O desafio das alucinações tem implicações significativas para o futuro da IA. À medida que os modelos de IA se tornam mais integrados em nossas vidas, é essencial que sejam confiáveis e dignos de confiança. Se os modelos de IA forem propensos a gerar informações falsas ou enganosas, isso pode corroer a confiança pública e dificultar sua adoção generalizada.
Abordar o problema das alucinações não é apenas crucial para melhorar a precisão dos modelos de IA, mas também para garantir seu uso ético e responsável. Ao desenvolver sistemas de IA menos propensos a alucinações, podemos aproveitar seu potencial para o bem, mitigando os riscos de desinformação e engano.