Inovação com a Família Phi

Phi-4-Multimodal: Uma Abordagem Unificada para IA Multimodal

Phi-4-multimodal surge como a incursão pioneira da Microsoft no domínio dos modelos de linguagem multimodais. Este modelo inovador, com os seus 5,6 mil milhões de parâmetros, integra perfeitamente o processamento de fala, visão e texto numa única arquitetura coesa. Esta abordagem inovadora resulta diretamente do valioso feedback dos clientes, refletindo o compromisso da Microsoft com a melhoria contínua e a capacidade de resposta às necessidades dos utilizadores.

O desenvolvimento do Phi-4-multimodal aproveita técnicas avançadas de aprendizagem intermodal. Isto permite que o modelo promova interações mais naturais e contextualmente conscientes. Os dispositivos equipados com o Phi-4-multimodal podem compreender e raciocinar em várias modalidades de entrada simultaneamente. É excelente na interpretação da linguagem falada, na análise de imagens e no processamento de informações textuais. Além disso, oferece inferência de baixa latência e alta eficiência, ao mesmo tempo que otimiza a execução no dispositivo, minimizando assim a sobrecarga computacional.

Uma das características definidoras do Phi-4-multimodal é a sua arquitetura unificada. Ao contrário das abordagens convencionais que dependem de pipelines complexos ou modelos separados para diferentes modalidades, o Phi-4-multimodal opera como uma entidade única. Ele lida com entradas de texto, áudio e visuais no mesmo espaço representacional. Este design simplificado aumenta a eficiência e simplifica o processo de desenvolvimento.

A arquitetura do Phi-4-multimodal incorpora diversas melhorias para aumentar seu desempenho e versatilidade. Esses incluem:

• Vocabulário Maior: Facilita capacidades de processamento aprimoradas.
• Suporte Multilíngue: Estende a aplicabilidade do modelo em diversos contextos linguísticos.
• Raciocínio de Linguagem Integrado: Combina a compreensão da linguagem com entradas multimodais.

Esses avanços são alcançados dentro de um modelo compacto e altamente eficiente, ideal para implantação em dispositivos e plataformas de computação de borda. Os recursos expandidos e a adaptabilidade do Phi-4-multimodal abrem uma infinidade de possibilidades para desenvolvedores de aplicativos, empresas e indústrias que buscam aproveitar a IA de maneiras inovadoras.

No domínio das tarefas relacionadas à fala, o Phi-4-multimodal demonstrou proezas excepcionais, emergindo como um dos principais modelos abertos. Notavelmente, ele supera modelos especializados como WhisperV3 e SeamlessM4T-v2-Large em reconhecimento automático de fala (ASR) e tradução de fala (ST). Ele garantiu a primeira posição no ranking HuggingFace OpenASR, alcançando uma impressionante taxa de erro de palavras de 6,14%, superando o melhor anterior de 6,5% (em fevereiro de 2025). Além disso, está entre os poucos modelos abertos capazes de implementar com sucesso o resumo da fala, atingindo níveis de desempenho comparáveis ao modelo GPT-4o.

Embora o Phi-4-multimodal exiba uma ligeira lacuna em comparação com modelos como Gemini-2.0-Flash e GPT-4o-realtime-preview em tarefas de resposta a perguntas (QA) de fala, principalmente devido ao seu tamanho menor e consequentes limitações na retenção de conhecimento factual de QA, esforços contínuos estão focados em aprimorar essa capacidade em iterações futuras.

Além da fala, o Phi-4-multimodal apresenta notáveis capacidades de visão em vários benchmarks. Ele alcança um desempenho particularmente forte em raciocínio matemático e científico. Apesar do seu tamanho compacto, o modelo mantém um desempenho competitivo em tarefas multimodais gerais, incluindo:

• Compreensão de documentos e gráficos
• Reconhecimento Óptico de Caracteres (OCR)
• Raciocínio científico visual

Ele iguala ou excede o desempenho de modelos comparáveis, como Gemini-2-Flash-lite-preview e Claude-3.5-Sonnet.

Phi-4-Mini: Potência Compacta para Tarefas Baseadas em Texto

Complementando o Phi-4-multimodal está o Phi-4-mini, um modelo de 3,8 mil milhões de parâmetros projetado para velocidade e eficiência em tarefas baseadas em texto. Este transformador denso e somente decodificador apresenta:

• Atenção de consulta agrupada
• Um vocabulário de 200.000 palavras
• Incorporações de entrada e saída compartilhadas

Apesar do seu tamanho compacto, o Phi-4-mini supera consistentemente modelos maiores numa variedade de tarefas baseadas em texto, incluindo:

• Raciocínio
• Matemática
• Codificação
• Seguimento de instruções
• Chamada de função

Ele suporta sequências de até 128.000 tokens, oferecendo precisão e escalabilidade excecionais. Isso o torna uma solução potente para aplicações avançadas de IA que exigem alto desempenho no processamento de texto.

Chamada de função, seguimento de instruções, processamento de contexto longo e raciocínio são capacidades potentes que permitem que modelos de linguagem pequenos como o Phi-4-mini acedam a conhecimento e funcionalidade externos, superando efetivamente as limitações impostas pelo seu tamanho compacto. Através de um protocolo padronizado, a chamada de função capacita o modelo a integrar-se perfeitamente com interfaces de programação estruturadas.

Quando apresentado a uma solicitação do utilizador, o Phi-4-mini pode:

1. Raciocinar através da consulta.
2. Identificar e invocar funções relevantes com parâmetros apropriados.
3. Receber as saídas da função.
4. Incorporar esses resultados nas suas respostas.

Isso cria um sistema extensível, baseado em agentes, onde os recursos do modelo podem ser aumentados conectando-o a ferramentas externas, interfaces de programa de aplicativo (APIs) e fontes de dados por meio de interfaces de função bem definidas. Um exemplo ilustrativo é um agente de controlo doméstico inteligente alimentado por Phi-4-mini, gerenciando perfeitamente vários dispositivos e funcionalidades.

As menores dimensões do Phi-4-mini e do Phi-4-multimodal os tornam excecionalmente adequados para ambientes de inferência com restrição de computação. Esses modelos são particularmente vantajosos para implantação no dispositivo, especialmente quando otimizados com ONNX Runtime para disponibilidade entre plataformas. Os seus requisitos computacionais reduzidos traduzem-se em custos mais baixos e latência significativamente melhorada. A janela decontexto estendida permite que os modelos processem e raciocinem sobre conteúdo de texto extenso, incluindo documentos, páginas da web, código e muito mais. Tanto o Phi-4-mini quanto o Phi-4-multimodal exibem capacidades robustas de raciocínio e lógica, posicionando-os como fortes concorrentes para tarefas analíticas. O seu tamanho compacto também simplifica e reduz o custo de ajuste fino ou personalização.

Aplicações no Mundo Real: Transformando Indústrias

O design desses modelos permite que eles lidem eficientemente com tarefas complexas, tornando-os ideais para cenários de computação de borda e ambientes com recursos computacionais limitados. Os recursos expandidos do Phi-4-multimodal e do Phi-4-mini estão a ampliar os horizontes das aplicações do Phi em diversos setores. Esses modelos estão a ser integrados em ecossistemas de IA e estão a ser usados para explorar uma ampla gama de casos de uso.

Aqui estão alguns exemplos convincentes:

• Integração no Windows: Os modelos de linguagem servem como poderosos motores de raciocínio. A integração de modelos de linguagem pequenos como o Phi no Windows permite a manutenção de capacidades de computação eficientes e abre caminho para um futuro de inteligência contínua perfeitamente integrada em todas as aplicações e experiências do utilizador. Os PCs Copilot+ aproveitarão os recursos do Phi-4-multimodal, oferecendo o poder dos SLMs avançados da Microsoft sem consumo excessivo de energia. Essa integração aprimorará a produtividade, a criatividade e as experiências educacionais, estabelecendo um novo padrão para a plataforma do desenvolvedor.

• Dispositivos Inteligentes: Imagine fabricantes de smartphones incorporando o Phi-4-multimodal diretamente nos seus dispositivos. Isso capacitaria os smartphones a processar e entender comandos de voz, reconhecer imagens e interpretar texto perfeitamente. Os utilizadores poderiam beneficiar de recursos avançados, como tradução de idiomas em tempo real, análise aprimorada de fotos e vídeos e assistentes pessoais inteligentes capazes de entender e responder a consultas complexas. Isso elevaria significativamente a experiência do utilizador, fornecendo capacidades potentes de IA diretamente no dispositivo, garantindo baixa latência e alta eficiência.

• Indústria Automotiva: Considere uma empresa automotiva integrando o Phi-4-multimodal nos seus sistemas de assistência no carro. O modelo poderia permitir que os veículos entendessem e respondessem a comandos de voz, reconhecessem gestos do motorista e analisassem entradas visuais de câmeras. Por exemplo, poderia aumentar a segurança do motorista detetando sonolência através do reconhecimento facial e fornecendo alertas em tempo real. Além disso, poderia oferecer assistência de navegação perfeita, interpretar sinais de trânsito e fornecer informações contextuais, criando uma experiência de condução mais intuitiva e segura, tanto quando conectado à nuvem quanto offline quando a conectividade não estiver disponível.

• Serviços Financeiros Multilíngues: Imagine uma empresa de serviços financeiros aproveitando o Phi-4-mini para automatizar cálculos financeiros complexos, gerar relatórios detalhados e traduzir documentos financeiros para vários idiomas. O modelo poderia auxiliar os analistas realizando cálculos matemáticos complexos cruciais para avaliações de risco, gestão de portfólio e previsão financeira. Além disso, poderia traduzir demonstrações financeiras, documentos regulatórios e comunicações com clientes para vários idiomas, melhorando assim as relações globais com os clientes.

Garantindo Segurança e Proteção

O Azure AI Foundry fornece aos utilizadores um conjunto robusto de capacidades para auxiliar as organizações a medir, mitigar e gerir os riscos de IA em todo o ciclo de vida de desenvolvimento de IA. Isso se aplica a aplicações tradicionais de aprendizado de máquina e de IA generativa. As avaliações de IA do Azure dentro do AI Foundry capacitam os desenvolvedores a avaliar iterativamente a qualidade e a segurança de modelos e aplicações, utilizando métricas integradas e personalizadas para informar estratégias de mitigação.

Tanto o Phi-4-multimodal quanto o Phi-4-mini passaram por rigorosos testes de segurança e proteção conduzidos por especialistas de segurança internos e externos. Esses especialistas empregaram estratégias elaboradas pela Microsoft AI Red Team (AIRT). Essas metodologias, refinadas em modelos Phi anteriores, incorporam perspetivas globais e falantes nativos de todos os idiomas suportados. Eles abrangem uma ampla gama de áreas, incluindo:

• Cibersegurança
• Segurança nacional
• Justiça
• Violência

Essas avaliações abordam as tendências atuais por meio de sondagem multilíngue. Aproveitando o kit de ferramentas de identificação de risco Python de código aberto (PyRIT) da AIRT e a sondagem manual, os membros da equipa vermelha conduziram ataques de turno único e de vários turnos. Operando independentemente das equipas de desenvolvimento, a AIRT compartilhou continuamente insights com a equipa do modelo. Essa abordagem avaliou minuciosamente o novo cenário de segurança e proteção de IA introduzido pelos modelos Phi mais recentes, garantindo a entrega de capacidades seguras e de alta qualidade.

Os cartões de modelo abrangentes para Phi-4-multimodal e Phi-4-mini, juntamente com o artigo técnico que os acompanha, fornecem um esboço detalhado dos usos e limitações recomendados desses modelos. Essa transparência ressalta o compromisso da Microsoft com o desenvolvimento e a implantação responsáveis da IA. Esses modelos estão prontos para causar um impacto significativo no desenvolvimento da IA.