Microsoft Phi-4: IA Raciocina como Gigantes!

A Phi-4 Reasoning da Microsoft apresenta SLMs compactos, open-weight (licença MIT), rápidos e eficientes, capazes de raciocínio avançado.

A Microsoft, embora seja uma parceira privilegiada da OpenAI e trabalhe com a maioria dos players para integrar seus modelos de IA ao Azure AI Foundry, não se furta a buscar seus próprios caminhos tecnológicos. Isso inclui trabalhar em inovações no núcleo das redes neurais, como o intrigante modelo BitNet b1.58 baseado em Trit, seus próprios SLMs de código aberto e até mesmo modelos de fronteira mantidos em segredo (Projeto MAI-1).

Um ano após apresentar sua gama de pequenos modelos de IA (SLMs) Phi-3 e dois meses após estrear a 4ª geração com um SLM multimodal (Phi-4-Multimodal) e um modelo minúsculo (Phi-4-mini), a Microsoft anuncia três novas variantes de seu SLM de última geração: Phi-4-reasoning, Phi-4-reasoning-plus e Phi-4-mini-reasoning.

Lançadas em 30 de abril de 2025, essas versões "integradas ao raciocínio" expandem a oferta de peso aberto de modelos compactos para desenvolvedores que precisam manter a baixa latência e exigem raciocínio complexo.

No centro da abordagem dos engenheiros da Microsoft para tornar seus SLMs "raciocinadores": confiar na supervisão refinada (SFT) das cadeias de raciocínio o3-mini da OpenAI e alavancar o aprendizado por reforço (RL) para a versão "plus". "Por meio de destilação, aprendizado por reforço e dados de alta qualidade, esses modelos reconciliam tamanho e desempenho", explica a Microsoft.

Pequenos, mas talentosos

Os resultados nos vários benchmarks líderes do mercado são suficientes para fazer a concorrência empalidecer: tipicamente com apenas 14 bilhões de parâmetros, Phi-4-reasoning supera DeepSeek-R1-Distill-Llama-70B (70 bilhões de parâmetros) nas séries AIME 2025, MMLU-Pro ou HumanEval-Plus, e se aproxima do modelo DeepSeek-R1 completo (671 bilhões de parâmetros)! A variante Phi-4-reasoning-plus, alinhada nos mesmos 14 bilhões de parâmetros, mas treinada com 1,5 vezes mais tokens, quase iguala as pontuações o3-mini da OpenAI no OmniMath! Para informação, Phi-4-reasoning beneficia de uma janela de contexto clássica de 128.000 tokens que foi estendida para 256.000 tokens para a versão Phi-4-reasoning-plus.

Projetado para sistemas embarcados, Phi-4-mini-reasoning exibe 3,8 bilhões de parâmetros, um conjunto sintético de um milhão de problemas matemáticos gerados por DeepSeek-R1 e alcança desempenho o1-mini no Math-500, superando vários modelos com 7 a 8 bilhões de parâmetros. Com seu tamanho ultracompacto, este modelo é ideal para execução local, inclusive em dispositivos móveis, e para atender à necessidade de respostas quase instantâneas. É particularmente adequado para usos educacionais e chatbots locais.

Modelos abertos para diversos usos

No lado da implantação, os CISOs encontrarão esses modelos já otimizados para PCs Copilot+: a variante NPU "Phi Silica" é pré-carregada na memória e fornece tempo de resposta quase instantâneo, garantindo a coexistência com eficiência energética com aplicativos de negócios. As APIs do Windows permitem integrar a geração offline ao Outlook ou ferramentas internas.

Em termos de segurança, a Microsoft reivindica um pipeline alinhado com seus princípios de responsabilidade – responsabilidade, justiça, confiabilidade, segurança e inclusão. Os modelos passam por pós-treinamento combinando SFT, Direct Preference Optimization e RLHF de conjuntos públicos e internos orientados à "utilidade/inocuidade". A Microsoft também publica os "Cards" de seus modelos, que detalham as limitações residuais e as medidas de mitigação.

Disponíveis agora no Azure AI Foundry, Hugging Face e GitHub Models, os três modelos são publicados sob a licença MIT muito permissiva, abrindo caminho para inferência local, bem como implantações de nuvem híbrida. Para equipes de segurança e arquitetura, esta nova geração de SLMs oferece uma alternativa credível aos LLMs massivos, com um TCO reduzido, execução local, bem como na Edge, e maior controlo dos dados. Estes modelos são prova do incrível progresso feito pelos SLMs num ano e do seu incrível potencial num universo em busca de IA menos dispendiosa e mais frugal em termos de energia e recursos.

Uma análise mais profunda dos recursos de raciocínio do Phi-4

A chegada da família de modelos Phi-4 representa um avanço significativo no desenvolvimento de modelos de linguagem pequenos (SLMs). O que diferencia esses modelos são suas habilidades de raciocínio aprimoradas, alcançadas por meio de técnicas de treinamento inovadoras e foco em dados de alta qualidade. O compromisso da Microsoft com os princípios de código aberto democratiza ainda mais o acesso a essas ferramentas poderosas, capacitando os desenvolvedores a integrar recursos avançados de IA em uma ampla gama de aplicações.

Entendendo a arquitetura

Os modelos Phi-4 são construídos sobre uma arquitetura de transformadores, uma estrutura comprovada para processamento de linguagem natural. No entanto, a Microsoft implementou várias inovações importantes para otimizar os modelos para tarefas de raciocínio.

• Supervisão Refinada (SFT): Os modelos são treinados usando uma técnica chamada supervisão refinada (SFT), que envolve aprender com cadeias de raciocínio detalhadas geradas pelo modelo o3-mini da OpenAI. Isso permite que os modelos Phi-4 aprendam as etapas envolvidas em processos complexos de raciocínio.
• Aprendizado por Reforço (RL): A variante "plus" do modelo Phi-4, Phi-4-reasoning-plus, utiliza aprendizado por reforço (RL) para aprimorar ainda mais suas habilidades de raciocínio. O RL envolve treinar o modelo para maximizar um sinal de recompensa, que neste caso é baseado na precisão e eficiência de seu raciocínio.
• Destilação: A destilação é empregada para transferir conhecimento de modelos maiores e mais complexos para os modelos Phi-4 menores. Isso permite que os SLMs alcancem níveis de desempenho comparáveis ​​a modelos muito maiores, mantendo seu tamanho compacto e eficiência.

Avaliação de desempenho

Os modelos Phi-4 demonstraram um desempenho impressionante em uma variedade de benchmarks de raciocínio, superando modelos maiores em alguns casos. Por exemplo, Phi-4-reasoning, com apenas 14 bilhões de parâmetros, supera DeepSeek-R1-Distill-Llama-70B (70 bilhões de parâmetros) em vários conjuntos de dados desafiadores, incluindo AIME 2025, MMLU-Pro e HumanEval-Plus. Isso destaca a eficiência e eficácia da arquitetura e das técnicas de treinamento do Phi-4.

A variante Phi-4-reasoning-plus, treinada com 1,5 vezes mais tokens, atinge pontuações próximas ao o3-mini da OpenAI no benchmark OmniMath, demonstrando sua capacidade de lidar com problemas complexos de raciocínio matemático.

Aplicações e casos de uso

Os modelos Phi-4 são adequados para uma variedade de aplicações que exigem recursos avançados de raciocínio.

• Ferramentas Educacionais: O modelo Phi-4-mini-reasoning, com seu tamanho pequeno e alto desempenho, é ideal para aplicações educacionais. Ele pode ser usado para criar ferramentas de aprendizado interativas que fornecem aos alunos feedback e suporte personalizados.
• Chatbots Locais: Os modelos Phi-4 podem ser usados ​​para construir chatbots locais que fornecem aos usuários acesso instantâneo a informações e suporte. Seu tamanho pequeno permite que sejam implantados em dispositivos móveis e outros ambientes com recursos restritos.
• PCs Copilot+: Os modelos Phi-4 são otimizados para PCs Copilot+, proporcionando aos usuários uma experiência de IA perfeita. A variante "Phi Silica" é pré-carregada na memória e oferece tempos de resposta quase instantâneos.
• Geração Offline: As APIs do Windows permitem integrar a geração offline ao Outlook ou ferramentas internas, permitindo que os usuários acessem recursos de IA mesmo quando não estão conectados à Internet.

Segurança e responsabilidade

A Microsoft está comprometida em desenvolver e implantar modelos de IA de forma responsável e ética. Os modelos Phi-4 não são exceção.

• Princípios de Responsabilidade: O pipeline de desenvolvimento de IA da Microsoft está alinhado com seus princípios de responsabilidade, que incluem responsabilidade, justiça, confiabilidade, segurança e inclusão.
• Pós-Treinamento: Os modelos Phi-4 passam por pós-treinamento usando SFT, Otimização de Preferência Direta e RLHF de conjuntos de dados públicos e internos orientados à "utilidade/inocuidade". Isso ajuda a garantir que os modelos sejam seguros e confiáveis.
• Cards do Modelo: A Microsoft publica "Cards" para seus modelos, que detalham as limitações residuais e as medidas de mitigação. Isso fornece aos usuários transparência e permite que eles tomem decisões informadas sobre como usar os modelos.

O futuro dos SLMs

Os modelos Phi-4 representam um avanço significativo no desenvolvimento de modelos de linguagem pequenos (SLMs). Suas habilidades de raciocínio aprimoradas, combinadas com seu tamanho pequeno e eficiência, os tornam uma alternativa atraente aos modelos de linguagem maiores (LLMs) em muitas aplicações.

À medida que os SLMs continuam a melhorar, é provável que desempenhem um papel cada vez mais importante no cenário da IA. Sua capacidade de rodar em dispositivos com recursos restritos e fornecer desempenho rápido e eficiente os torna adequados para uma ampla gama de aplicações, desde ferramentas educacionais a chatbots locais e dispositivos de computação de ponta.

O compromisso da Microsoft com os princípios de código aberto e o desenvolvimento responsável de IA posiciona ainda mais os modelos Phi-4 como um recurso valioso para a comunidade de IA. Ao democratizar o acesso a essas ferramentas poderosas, a Microsoft está capacitando os desenvolvedores a criar aplicações inovadoras e impactantes que podem beneficiar a sociedade como um todo.

Uma análise mais detalhada dos aspectos técnicos

Aprofundar os detalhes da arquitetura e do treinamento do Phi-4 revela as técnicas inovadoras que permitem que esses SLMs alcancem recursos de raciocínio tão impressionantes. A combinação de conjuntos de dados cuidadosamente selecionados, algoritmos de treinamento sofisticados e um foco na eficiência resultou em uma família de modelos poderosos e práticos.

Curadoria e preparação de dados

O sucesso de qualquer modelo de aprendizado de máquina depende da qualidade e relevância dos dados em que é treinado. A Microsoft investiu um esforço significativo na curadoria e preparação dos conjuntos de dados usados ​​para treinar os modelos Phi-4.

• Cadeias de Raciocínio do o3-mini da OpenAI: Os modelos aproveitam as cadeias de raciocínio geradas pelo modelo o3-mini da OpenAI para aprender as etapas envolvidas em processos complexos de raciocínio. Essas cadeias fornecem um roteiro detalhado para os SLMs seguirem, permitindo que eles desenvolvam uma compreensão mais profunda da lógica subjacente.
• Problemas Matemáticos Sintéticos: O modelo Phi-4-mini-reasoning é treinado em um conjunto de dados sintético de um milhão de problemas matemáticos gerados pelo DeepSeek-R1. Este conjunto de dados fornece uma gama diversificada de desafios matemáticos, permitindo que o modelo desenvolva fortes habilidades de resolução de problemas.
• Conjuntos de Dados de Utilidade/Inocuidade: Os modelos passam por pós-treinamento usando conjuntos de dados projetados para promover a utilidade e a inocuidade. Isso ajuda a garantir que os modelos gerem resultados seguros e responsáveis.

Algoritmos de treinamento

Os modelos Phi-4 são treinados usando uma combinação de aprendizado supervisionado, aprendizado por reforço e destilação. Essas técnicas trabalham juntas para otimizar os modelos para tarefas de raciocínio e garantir que sejam precisos e eficientes.

• Ajuste Fino Supervisionado (SFT): O SFT é usado para ajustar os modelos nas cadeias de raciocínio geradas pelo modelo o3-mini da OpenAI. Isso permite que os modelos aprendam os padrões e relacionamentos específicos que são característicos de processos complexos de raciocínio.
• Aprendizado por Reforço (RL): O RL é usado para treinar o modelo Phi-4-reasoning-plus para maximizar um sinal de recompensa com base na precisão e eficiência de seu raciocínio. Isso incentiva o modelo a desenvolver estratégias para resolver problemas que sejam eficazes e computacionalmente eficientes.
• Destilação: A destilação é usada para transferir conhecimento de modelos maiores e mais complexos para os modelos Phi-4 menores. Isso permite que os SLMs alcancem níveis de desempenho comparáveis ​​a modelos muito maiores, mantendo seu tamanho compacto e eficiência.

Otimização para eficiência

Um dos principais objetivos no desenvolvimento dos modelos Phi-4 foi otimizá-los para eficiência. Isso se reflete em vários aspectos de seu design e treinamento.

• Arquitetura Compacta: Os modelos Phi-4 são projetados com uma arquitetura compacta que minimiza o número de parâmetros necessários. Isso reduz o custo computacional de rodar os modelos e os torna adequados para implantação em dispositivos com recursos restritos.
• Quantização: A quantização é usada para reduzir a pegada de memória dos modelos e melhorar sua velocidade de inferência. Isso envolve representar os parâmetros do modelo usando menos bits, o que pode reduzir significativamente o custo computacional de rodar o modelo.
• Aceleração de Hardware: Os modelos Phi-4 são otimizados para aceleração de hardware em uma variedade de plataformas, incluindo CPUs, GPUs e NPUs. Isso permite que eles atinjam o desempenho máximo em uma ampla gama de dispositivos.

Implicações para o futuro da IA

Os modelos Phi-4 representam um avanço significativo no desenvolvimento da IA, com implicações que se estendem muito além das aplicações específicas para as quais são projetados. Sua capacidade de alcançar alto desempenho com tamanho relativamente pequeno e recursos computacionais abre novas possibilidades para implantar IA em uma ampla gama de configurações.

Democratização da IA

Os modelos Phi-4 são uma prova de que recursos poderosos de IA podem ser alcançados sem exigir recursos computacionais massivos ou acesso a conjuntos de dados proprietários. Isso democratiza o acesso à IA, capacitando desenvolvedores e pesquisadores a criar aplicações inovadoras, mesmo com recursos limitados.

Computação de borda

O tamanho pequeno e a eficiência dos modelos Phi-4 os tornam adequados para aplicações de computação de borda. Isso permite que a IA seja implantada mais perto da fonte de dados, reduzindo a latência e melhorando a capacidade de resposta. A computação de borda tem o potencial de revolucionar uma ampla gama de indústrias, da manufatura à saúde e ao transporte.

IA personalizada

Os modelos Phi-4 podem ser personalizados e adaptados para atender às necessidades específicas de usuários ou organizações individuais. Isso permite a criação de experiências de IA personalizadas que são adaptadas aos requisitos exclusivos de cada usuário. A IA personalizada tem o potencial de melhorar a produtividade, aprimorar o aprendizado e melhorar o bem-estar geral.

IA sustentável

Os modelos Phi-4 são uma alternativa mais sustentável aos modelos de linguagem maiores, exigindo menos energia e recursos computacionais. Isso é importante para reduzir o impacto ambiental da IA e garantir que ela possa ser implantada de forma responsável e sustentável.

Os modelos Microsoft Phi-4-Reasoning não são apenas mais uma iteração no mundo em constante evolução da IA; eles são uma mudança de paradigma. Eles demonstram que a inteligência não é apenas uma função do tamanho e do poder computacional, mas pode ser alcançada por meio de design inteligente, curadoria cuidadosa de dados e técnicas de treinamento inovadoras. À medida que esses modelos continuam a evoluir, eles estão preparados para desbloquear novas possibilidades para a IA e transformar a maneira como interagimos com a tecnologia.