Gemma 3n de Google marque une nouvelle ère pour l’IA générative. Ce modèle compact et rapide est capable de fonctionner hors ligne sur les smartphones, apportant une technologie d’IA avancée à nos appareils quotidiens. Non seulement Gemma 3n comprend l’audio, les images et le texte, mais sa précision est également exceptionnelle, surpassant même GPT-4.1 Nano sur Chatbot Arena.
L’architecture innovante de Gemma 3n
Pour préparer l’avenir de l’IA embarquée, Google DeepMind s’est associé à des leaders du matériel mobile tels que Qualcomm Technologies, MediaTek et Samsung System LSI pour développer une nouvelle architecture.
Cette architecture vise à optimiser les performances de l’IA générative sur les appareils aux ressources limitées (tels que les téléphones, les tablettes et les ordinateurs portables). Pour atteindre cet objectif, l’architecture utilise trois innovations clés : mise en cache PLE (Progressive Layered Embedding), l’architecture MatFormer et le chargement conditionnel des paramètres.
Mise en cache PLE : Dépasser les limites de la mémoire
La mise en cache PLE est un mécanisme ingénieux qui permet au modèle de décharger les paramètres d’incorporation de couche en couche dans une mémoire externe rapide, réduisant ainsi considérablement l’utilisation de la mémoire sans sacrifier les performances. Ces paramètres sont générés en dehors de la mémoire de travail du modèle et sont récupérés au besoin pendant l’exécution, permettant ainsi un fonctionnement efficace même sur les appareils aux ressources limitées.
Imaginez que vous utilisez un modèle d’IA complexe, mais que la mémoire de votre appareil est limitée. La mise en cache PLE est comme un bibliothécaire intelligent qui stocke les livres (paramètres) les moins utilisés dans un entrepôt voisin (mémoire externe). Lorsque le modèle a besoin de ces paramètres, le bibliothécaire les récupère rapidement, garantissant ainsi le bon fonctionnement du modèle sans accaparer un espace mémoire précieux.
Plus précisément, la mise en cache PLE optimise l’utilisation de la mémoire et les performances des manières suivantes :
Réduction de l’empreinte mémoire : En stockant les paramètres les moins utilisés dans la mémoire externe, la mise en cache PLE réduit la quantité de mémoire dont le modèle a besoin lors de son exécution. Cela permet d’exécuter des modèles d’IA volumineux sur des appareils aux ressources limitées.
Amélioration des performances : Bien que la récupération des paramètres à partir de la mémoire externe prenne un certain temps, la mise en cache PLE minimise la latence en prédisant intelligemment les paramètres qui seront utilisés à l’avenir et en les chargeant à l’avance dans le cache. Cela garantit que le modèle peut fonctionner à une vitesse proche du temps réel.
Prise en charge de modèles plus volumineux : En réduisant les besoins en mémoire, la mise en cache PLE nous permet de créer des modèles d’IA plus volumineux et plus complexes. Ces modèles ont une plus grande capacité d’expression et peuvent accomplir des tâches plus complexes.
Architecture MatFormer : Une conception ingénieuse comme une poupée russe
L’architecture Matryoshka Transformer (MatFormer) introduit une conception Transformer imbriquée, dans laquelle de plus petits sous-modèles sont intégrés dans des modèles plus volumineux, à l’instar des poupées russes. Cette structure permet d’activer sélectivement des sous-modèles, permettant ainsi au modèle d’ajuster dynamiquement sa taille et ses besoins en calcul en fonction de la tâche. Cette flexibilité réduit les coûts de calcul, les temps de réponse et la consommation d’énergie, ce qui la rend idéale pour les déploiements en périphérie et dans le cloud.
L’idée maîtresse de l’architecture MatFormer est de ne pas nécessiter un modèle d’IA complet pour toutes les tâches. Pour les tâches simples, il suffit d’activer de plus petits sous-modèles, ce qui permet d’économiser des ressources de calcul. Pour les tâches complexes, il est possible d’activer de plus grands sous-modèles afin d’obtenir une plus grande précision.
Illustrons les avantages de l’architecture MatFormer par un exemple. Supposons que vous utilisez un modèle d’IA pour identifier des objets dans des images. Pour les images simples, par exemple celles qui ne contiennent qu’un seul objet, il est possible d’activer un plus petit sous-modèle, spécialement conçu pour identifier ce type d’objet particulier. Pour les images complexes, par exemple celles qui contiennent plusieurs objets, il est possible d’activer un plus grand sous-modèle, capable d’identifier une grande variété d’objets différents.
Les avantages de l’architecture MatFormer sont les suivants :
Réduction des coûts de calcul : En n’activant que les sous-modèles nécessaires, l’architecture MatFormer peut réduire considérablement les coûts de calcul. Ceci est essentiel pour l’exécution de modèles d’IA sur des appareils aux ressources limitées.
Réduction des temps de réponse : Étant donné que l’architecture MatFormer peut ajuster dynamiquement la taille du modèle en fonction de la tâche, elle peut réduire les temps de réponse. Cela permet aux modèles d’IA de répondre plus rapidement aux demandes des utilisateurs.
Réduction de la consommation d’énergie : En réduisant les coûts de calcul, l’architecture MatFormer peut également réduire la consommation d’énergie. Ceci est essentiel pour prolonger la durée de vie de la batterie.
Chargement conditionnel des paramètres : Chargement à la demande, optimisation des ressources
Le chargement conditionnel des paramètres permet aux développeurs d’ignorer le chargement en mémoire des paramètres inutilisés (tels que ceux utilisés pour le traitement audio ou visuel). Ces paramètres peuvent être chargés dynamiquement lors de l’exécution, si nécessaire, optimisant ainsi davantage l’utilisation de la mémoire et permettant au modèle de s’adapter à divers appareils et tâches.
Imaginez que vous utilisez un modèle d’IA pour traiter du texte. Si votre tâche ne nécessite aucun traitement audio ou visuel, il serait inutile de charger les paramètres utilisés pour le traitement audio ou visuel. Le chargement conditionnel des paramètres permet au modèle de ne charger que les paramètres nécessaires, minimisant ainsi l’utilisation de la mémoire et améliorant les performances.
Voici comment fonctionne le chargement conditionnel des paramètres :
- Le modèle analyse la tâche en cours et détermine les paramètres nécessaires.
- Le modèle ne charge que les paramètres nécessaires en mémoire.
- Une fois la tâche terminée, le modèle libère les paramètres qui ne sont plus nécessaires.
Les avantages du chargement conditionnel des paramètres sont les suivants :
Optimisation de l’utilisation de la mémoire : En ne chargeant que les paramètres nécessaires, le chargement conditionnel des paramètres peut optimiser considérablement l’utilisation de la mémoire. Ceci est essentiel pour l’exécution de modèles d’IA sur des appareils aux ressources limitées.
Amélioration des performances : En réduisant le nombre de paramètres chargés, le chargement conditionnel des paramètres peut améliorer les performances. Cela permet aux modèles d’IA de répondre plus rapidement aux demandes des utilisateurs.
Prise en charge d’un plus large éventail d’appareils : En optimisant l’utilisation de la mémoire, le chargement conditionnel des paramètres permet aux modèles d’IA de s’exécuter sur un plus large éventail d’appareils, y compris ceux dont la mémoire est limitée.
Les caractéristiques exceptionnelles de Gemma 3n
Gemma 3n introduit plusieurs technologies et fonctionnalités innovantes qui redéfinissent les possibilités de l’IA embarquée.
Examinons de plus près ses fonctionnalités clés :
Performances et efficacité optimisées sur l’appareil : Gemma 3n est environ 1,5 fois plus rapide que son prédécesseur (Gemma 3 4B), tout en maintenant une qualité de sortie nettement supérieure. Cela signifie que vous pouvez obtenir des résultats plus précis plus rapidement sur votre appareil, sans avoir à dépendre d’une connexion cloud.
Mise en cache PLE : Le système de mise en cache PLE permet à Gemma 3n de stocker des paramètres dans une mémoire locale rapide, réduisant ainsi l’empreinte mémoire et améliorant les performances.
Architecture MatFormer : Gemma 3n utilise l’architecture MatFormer, qui active sélectivement les paramètres du modèle en fonction de la requête spécifique. Cela permet au modèle d’ajuster dynamiquement sa taille et ses besoins en calcul, optimisant ainsi l’utilisation des ressources.
Chargement conditionnel des paramètres : Pour économiser les ressources mémoire, Gemma 3n peut contourner le chargement des paramètres inutiles, par exemple en ne chargeant pas les paramètres correspondants lorsqu’il n’est pas nécessaire d’utiliser la vision ou l’audio. Cela améliore encore l’efficacité et réduit la consommation d’énergie.
Priorité à la confidentialité et disponibilité hors ligne : La possibilité d’exécuter des fonctions d’IA localement sans connexion Internet garantit la confidentialité des utilisateurs. Cela signifie que vos données ne quittent pas votre appareil et que vous pouvez utiliser les fonctions d’IA sans connexion réseau.
Compréhension multimodale : Gemma 3n offre une prise en charge avancée des entrées audio, texte, image et vidéo, ce qui permet des interactions multimodales complexes en temps réel. Cela permet au modèle d’IA de comprendre et de répondre à diverses entrées, offrant ainsi une expérience utilisateur plus naturelle et intuitive.
Fonctionnalités audio : Il offre la reconnaissance vocale automatique (RVA) et la traduction vocale à texte, avec une transcription de haute qualité et une prise en charge multilingue. Cela signifie que vous pouvez utiliser Gemma 3n pour convertir la langue parlée en texte et traduire la langue parlée d’une langue à une autre.
Amélioration des capacités multilingues : Amélioration significative des performances dans des langues telles que le japonais, l’allemand, le coréen, l’espagnol et le français. Cela permet à Gemma 3n de comprendre et de générer plus précisément du texte dans diverses langues.
Contexte de jetons 32K : Il peut traiter de grandes quantités de données dans une seule requête, permettant ainsi des conversations plus longues et des tâches plus complexes. Cela signifie que vous pouvez fournir à Gemma 3n des entrées de texte plus longues sans avoir à vous soucier du dépassement de sa fenêtre contextuelle.
Démarrage rapide avec Gemma 3n
Il est très simple de commencer à utiliser Gemma 3n, et les développeurs peuvent explorer et intégrer ce puissant modèle de deux manières principales.
1. Google AI Studio : Prototypage rapide
Il suffit de se connecter à Google AI Studio, d’accéder au studio, de sélectionner le modèle Gemma 3n E4B et de commencer à explorer les fonctionnalités de Gemma 3n. Le studio est idéal pour les développeurs qui souhaitent prototyper et tester rapidement des idées avant une implémentation complète.
Vous pouvez obtenir une clé API et intégrer le modèle dans votre chatbot d’IA local, en particulier via l’application Msty.
En outre, vous pouvez utiliser le SDK Python de Google GenAI pour intégrer le modèle dans votre application en quelques lignes de code. Cela facilite grandement l’intégration de Gemma 3n dans vos projets.
2. Utilisation de Google AI Edge pour le développement embarqué : Créer des applications locales
Pour les développeurs qui souhaitent intégrer Gemma 3n directement dans leurs applications, Google AI Edge fournit les outils et les bibliothèques nécessaires pour le développement embarqué sur les appareils Android et Chrome. Cette méthode est idéale pour la création d’applications qui tirent parti des fonctionnalités de Gemma 3n localement.
Google AI Edge fournit une gamme d’outils et de bibliothèques qui permettent aux développeurs d’intégrer facilement Gemma 3n dans leurs applications. Ces outils comprennent :
- TensorFlow Lite : Un cadre léger pour l’exécution de modèles d’IA sur des appareils mobiles.
- ML Kit : Un ensemble d’API pour l’ajout de fonctionnalités d’apprentissage automatique dans les applications mobiles.
- Android Neural Networks API (NNAPI) : Une API permettant d’utiliser les accélérateurs matériels sur l’appareil pour exécuter des modèles d’IA.
En utilisant Google AI Edge, les développeurs peuvent créer diverses applications innovantes, notamment :
- Reconnaissance vocale hors ligne : Permet aux utilisateurs d’utiliser des commandes vocales pour contrôler leurs appareils sans connexion Internet.
- Reconnaissance d’images en temps réel : Permet aux utilisateurs d’identifier des objets dans des images sans avoir à télécharger les images dans le cloud.
- Génération de texte intelligente : Permet aux utilisateurs de générer divers types de texte, tels que des e-mails, des articles et du code.