Google యొక్క Gemma 3n ఆవిష్కరణ జనరేటివ్ AIలో సరికొత్త శకానికి నాంది పలుకుతోంది. ఈ మోడల్ చిన్నది, వేగవంతమైనది, ఇంకా ముఖ్యంగా, ఇది ఫోన్‌లో ఆఫ్‌లైన్‌లో పనిచేస్తుంది, ఇది మన రోజువారీ జీవితంలో ఉపయోగించే పరికరాలకు అత్యాధునిక కృత్రిమ మేధస్సు సాంకేతికతను తీసుకువస్తుంది. Gemma 3n ఆడియో, చిత్రాలు మరియు వచనాలను అర్థం చేసుకోగలదు, అంతేకాకుండా ఖచ్చితత్వంలో కూడా చాలా అద్భుతంగా ఉంటుంది, Chatbot Arenaలో దీని పనితీరు GPT-4.1 నానోను కూడా అధిగమించింది.
Gemma 3n యొక్క వినూత్న నిర్మాణం
పరికరంలో AI యొక్క భవిష్యత్తును దృష్టిలో ఉంచుకుని, Google DeepMind, Qualcomm Technologies, MediaTek మరియు Samsung System LSI వంటి మొబైల్ హార్డ్‌వేర్ రంగంలోని ప్రముఖ సంస్థలతో కలిసి ఒక సరికొత్త నిర్మాణాన్ని అభివృద్ధి చేసింది.
ఈ నిర్మాణం ఫోన్‌లు, టాబ్లెట్‌లు మరియు ల్యాప్‌టాప్‌ల వంటి వనరులు తక్కువగా ఉన్న పరికరాల్లో జనరేటివ్ AI పనితీరును ఆప్టిమైజ్ చేయడానికి ఉద్దేశించబడింది. ఈ లక్ష్యాన్ని సాధించడానికి, ఈ నిర్మాణం మూడు ముఖ్యమైన ఆవిష్కరణలను ఉపయోగించింది: లేయర్ వైజ్ ఎంబెడింగ్ (PLE) కాషింగ్, MatFormer ఆర్కిటెక్చర్ మరియు షరతులతో కూడిన పారామీటర్ లోడింగ్.
PLE కాషింగ్: మెమరీ పరిమితులను అధిగమించడం
PLE కాషింగ్ అనేది ఒక తెలివైన యంత్రాంగం, ఇది మోడల్ పనితీరును తగ్గించకుండా మెమరీ వినియోగాన్ని గణనీయంగా తగ్గించడానికి, లేయర్ వైజ్ ఎంబెడింగ్ పారామీటర్లను వేగవంతమైన బాహ్య మెమరీకి అన్‌లోడ్ చేయడానికి అనుమతిస్తుంది. ఈ పారామీటర్‌లు మోడల్ యొక్క ఆపరేటింగ్ మెమరీ వెలుపల ఉత్పత్తి చేయబడతాయి మరియు అవసరమైనప్పుడు తిరిగి పొందబడతాయి, తద్వారా వనరులు తక్కువగా ఉన్న పరికరాల్లో కూడా సమర్థవంతంగా పనిచేయడానికి వీలు కలుగుతుంది.
మీరు ఒక సంక్లిష్టమైన AI మోడల్‌ను అమలు చేస్తున్నారని, అయితే మీ పరికరంలో మెమరీ తక్కువగా ఉందని ఊహించుకోండి. PLE కాషింగ్ ఒక స్మార్ట్ లైబ్రేరియన్ లాంటిది, ఇది సాధారణంగా ఉపయోగించని పుస్తకాలను (పారామీటర్‌లు) సమీపంలోని గిడ్డంగిలో (బాహ్య మెమరీ) నిల్వ చేస్తుంది. మోడల్‌కు ఈ పారామీటర్‌లు అవసరమైనప్పుడు, లైబ్రేరియన్ వాటిని వెంటనే తిరిగి తెస్తాడు, విలువైన మెమరీ స్థలాన్ని ఆక్రమించకుండా మోడల్ సజావుగా పనిచేసేలా చూస్తాడు.
ప్రత్యేకంగా చెప్పాలంటే, PLE కాషింగ్ కింది విధంగా మెమరీ వినియోగం మరియు పనితీరును ఆప్టిమైజ్ చేస్తుంది:
మెమరీ వినియోగాన్ని తగ్గించడం: సాధారణంగా ఉపయోగించని పారామీటర్లను బాహ్య మెమరీలో నిల్వ చేయడం ద్వారా, PLE కాషింగ్ మోడల్ అమలు చేయడానికి అవసరమైన మెమరీ మొత్తాన్ని తగ్గిస్తుంది. ఇది వనరులు తక్కువగా ఉన్న పరికరాల్లో పెద్ద AI మోడల్‌లను అమలు చేయడానికి వీలు కల్పిస్తుంది.
పనితీరును మెరుగుపరచడం: బాహ్య మెమరీ నుండి పారామీటర్లను తిరిగి పొందడానికి కొంత సమయం పడుతుంది, అయితే PLE కాషింగ్ భవిష్యత్తులో ఏ పారామీటర్‌లు ఉపయోగించబడతాయో తెలివిగా అంచనా వేసి, వాటిని ముందుగానే కాష్‌లో లోడ్ చేయడం ద్వారా ఆలస్యాన్ని తగ్గిస్తుంది. ఇది మోడల్ నిజ సమయంలో పనిచేసేలా చూస్తుంది.
పెద్ద మోడళ్లకు మద్దతు: మెమరీ అవసరాలను తగ్గించడం ద్వారా, PLE కాషింగ్ పెద్ద మరియు సంక్లిష్టమైన AI మోడల్‌లను రూపొందించడానికి అనుమతిస్తుంది. ఈ మోడల్‌లు మరింత వ్యక్తీకరణ శక్తిని కలిగి ఉంటాయి మరియు మరింత సంక్లిష్టమైన పనులను పూర్తి చేయగలవు.
MatFormer ఆర్కిటెక్చర్: రష్యన్ బొమ్మల వంటి సూక్ష్మమైన డిజైన్
Matryoshka Transformer (MatFormer) ఆర్కిటెక్చర్ పొదిగిన ట్రాన్స్‌ఫార్మర్ డిజైన్‌ను పరిచయం చేసింది, ఇక్కడ చిన్న సబ్-మోడల్‌లు పెద్ద మోడల్‌లలో పొందుపరచబడతాయి, ఇది రష్యన్ బొమ్మలను పోలి ఉంటుంది. ఈ నిర్మాణం సబ్-మోడల్‌లను ఎంపిక ప్రకారం యాక్టివేట్ చేయడానికి అనుమతిస్తుంది, మోడల్ టాస్క్‌ను బట్టి దాని పరిమాణం మరియు గణన అవసరాలను డైనమిక్‌గా సర్దుబాటు చేయడానికి వీలు కల్పిస్తుంది. ఈ సౌలభ్యం కంప్యూటింగ్ ఖర్చులు, స్పందన సమయం మరియు శక్తి వినియోగాన్ని తగ్గిస్తుంది, ఇది ఎడ్జ్ మరియు క్లౌడ్ డిప్లాయ్‌మెంట్‌లకు చాలా అనుకూలంగా ఉంటుంది.
MatFormer ఆర్కిటెక్చర్ యొక్క ప్రధాన ఆలోచన ఏమిటంటే, అన్ని టాస్క్‌లకు పూర్తి AI మోడల్ అవసరం లేదు. సాధారణ టాస్క్‌ల కోసం, చిన్న సబ్-మోడల్‌లను మాత్రమే యాక్టివేట్ చేస్తే సరిపోతుంది, తద్వారా కంప్యూటింగ్ వనరులు ఆదా అవుతాయి. సంక్లిష్టమైన టాస్క్‌ల కోసం, మరింత ఖచ్చితత్వం కోసం పెద్ద సబ్-మోడల్‌లను యాక్టివేట్ చేయవచ్చు.
MatFormer ఆర్కిటెక్చర్ యొక్క ప్రయోజనాన్ని ఒక ఉదాహరణ ద్వారా చూద్దాం. మీరు చిత్రంలోని వస్తువులను గుర్తించడానికి ఒక AI మోడల్‌ను ఉపయోగిస్తున్నారని అనుకుందాం. ఒకే వస్తువును కలిగి ఉన్న సాధారణ చిత్రం కోసం, ఆ నిర్దిష్ట రకమైన వస్తువును గుర్తించడానికి ప్రత్యేకంగా రూపొందించిన చిన్న సబ్-మోడల్‌ను యాక్టివేట్ చేయవచ్చు. బహుళ వస్తువులను కలిగి ఉన్న సంక్లిష్టమైన చిత్రం కోసం, వివిధ రకాల వస్తువులను గుర్తించగల పెద్ద సబ్-మోడల్‌ను యాక్టివేట్ చేయవచ్చు.
MatFormer ఆర్కిటెక్చర్ యొక్క ప్రయోజనాలు:
కంప్యూటింగ్ ఖర్చులను తగ్గించడం: అవసరమైన సబ్-మోడల్‌లను మాత్రమే యాక్టివేట్ చేయడం ద్వారా, MatFormer ఆర్కిటెక్చర్ కంప్యూటింగ్ ఖర్చులను గణనీయంగా తగ్గిస్తుంది. వనరులు తక్కువగా ఉన్న పరికరాల్లో AI మోడల్‌లను అమలు చేయడానికి ఇది చాలా అవసరం.
స్పందన సమయాన్ని తగ్గించడం: MatFormer ఆర్కిటెక్చర్ టాస్క్‌ను బట్టి మోడల్ పరిమాణాన్ని డైనమిక్‌గా సర్దుబాటు చేయగలదు కాబట్టి, స్పందన సమయాన్ని తగ్గించవచ్చు. ఇది AI మోడల్‌లు వినియోగదారు అభ్యర్థనలకు వేగంగా స్పందించడానికి వీలు కల్పిస్తుంది.
శక్తి వినియోగాన్ని తగ్గించడం: కంప్యూటింగ్ ఖర్చులను తగ్గించడం ద్వారా, MatFormer ఆర్కిటెక్చర్ శక్తి వినియోగాన్ని కూడా తగ్గిస్తుంది. ఇది బ్యాటరీ జీవితాన్ని పొడిగించడానికి చాలా అవసరం.
షరతులతో కూడిన పారామీటర్ లోడింగ్: అవసరమైనప్పుడు మాత్రమే లోడ్ చేయడం, వనరులను ఆప్టిమైజ్ చేయడం
షరతులతో కూడిన పారామీటర్ లోడింగ్ డెవలపర్‌లు ఉపయోగించని పారామీటర్లను (ఉదాహరణకు ఆడియో లేదా విజువల్ ప్రాసెసింగ్ కోసం ఉపయోగించే పారామీటర్‌లు) మెమరీలోకి లోడ్ చేయకుండా దాటవేయడానికి అనుమతిస్తుంది. అవసరమైతే, ఈ పారామీటర్లను అమలు సమయంలో డైనమిక్‌గా లోడ్ చేయవచ్చు, తద్వారా మెమరీ వినియోగాన్ని మరింత ఆప్టిమైజ్ చేస్తుంది మరియు వివిధ పరికరాలు మరియు టాస్క్‌లకు మోడల్‌ను అనుగుణంగా మార్చడానికి వీలు కల్పిస్తుంది.
మీరు టెక్స్ట్‌ను ప్రాసెస్ చేయడానికి ఒక AI మోడల్‌ను ఉపయోగిస్తున్నారని అనుకుందాం. మీ టాస్క్‌కు ఆడియో లేదా విజువల్ ప్రాసెసింగ్ అవసరం లేకపోతే, ఆడియో లేదా విజువల్ ప్రాసెసింగ్ కోసం పారామీటర్లను లోడ్ చేయడం వనరులను వృథా చేయడమే అవుతుంది. షరతులతో కూడిన పారామీటర్ లోడింగ్ మోడల్‌ను అవసరమైన పారామీటర్లను మాత్రమే లోడ్ చేయడానికి అనుమతిస్తుంది, తద్వారా మెమరీ వినియోగాన్ని తగ్గించి పనితీరును మెరుగుపరుస్తుంది.
షరతులతో కూడిన పారామీటర్ లోడింగ్ ఎలా పనిచేస్తుందో ఇక్కడ ఉంది:
- కరెంటు టాస్క్‌ను మోడల్ విశ్లేషిస్తుంది మరియు ఏ పారామీటర్‌లు అవసరమో నిర్ణయిస్తుంది.
- మోడల్ అవసరమైన పారామీటర్లను మాత్రమే మెమరీలోకి లోడ్ చేస్తుంది.
- టాస్క్ పూర్తయినప్పుడు, మోడల్ ఇకపై అవసరం లేని పారామీటర్లను విడుదల చేస్తుంది.
షరతులతో కూడిన పారామీటర్ లోడింగ్ యొక్క ప్రయోజనాలు:
మెమరీ వినియోగాన్ని ఆప్టిమైజ్ చేయడం: అవసరమైన పారామీటర్లను మాత్రమే లోడ్ చేయడం ద్వారా, షరతులతో కూడిన పారామీటర్ లోడింగ్ మెమరీ వినియోగాన్ని గణనీయంగా ఆప్టిమైజ్ చేస్తుంది. వనరులు తక్కువగా ఉన్న పరికరాల్లో AI మోడల్‌లను అమలు చేయడానికి ఇది చాలా అవసరం.
పనితీరును మెరుగుపరచడం: లోడ్ చేయబడిన పారామీటర్‌ల సంఖ్యను తగ్గించడం ద్వారా, షరతులతో కూడిన పారామీటర్ లోడింగ్ పనితీరును మెరుగుపరుస్తుంది. ఇది AI మోడల్‌లు వినియోగదారు అభ్యర్థనలకు వేగంగా స్పందించడానికి వీలు కల్పిస్తుంది.
విస్తృత శ్రేణి పరికరాలకు మద్దతు: మెమరీ వినియోగాన్ని ఆప్టిమైజ్ చేయడం ద్వారా, షరతులతో కూడిన పారామీటర్ లోడింగ్ AI మోడల్‌లు పరిమిత మెమరీ ఉన్న పరికరాలతో సహా విస్తృత శ్రేణి పరికరాల్లో పనిచేయడానికి అనుమతిస్తుంది.
Gemma 3n యొక్క విశిష్ట లక్షణాలు
Gemma 3n అనేక వినూత్న సాంకేతికతలు మరియు లక్షణాలను పరిచయం చేసింది, అవి పరికరంలో AI యొక్క అవకాశాలను పునర్నిర్వచిస్తాయి.
దాని ముఖ్య లక్షణాల గురించి మరింత వివరంగా చూద్దాం:
ఆప్టిమైజ్ చేసిన పరికరంలో పనితీరు మరియు సామర్థ్యం: Gemma 3n దాని పూర్వీకులైన (Gemma 3 4B) కంటే దాదాపు 1.5 రెట్లు వేగంగా ఉంటుంది, అదే సమయంలో గణనీయంగా అధిక అవుట్‌పుట్ నాణ్యతను కలిగి ఉంటుంది. అంటే క్లౌడ్ కనెక్షన్ పై ఆధారపడకుండానే మీరు మీ పరికరానికి వేగంగా మరియు మరింత ఖచ్చితమైన ఫలితాలను పొందవచ్చు.
PLE కాషింగ్: PLE కాషింగ్ సిస్టమ్ Gemma 3n పారామీటర్లను వేగవంతమైన స్థానిక మెమరీలో నిల్వ చేయడానికి వీలు కల్పిస్తుంది, తద్వారా మెమరీ వినియోగాన్ని తగ్గించి పనితీరును మెరుగుపరుస్తుంది.
MatFormer ఆర్కిటెక్చర్: Gemma 3n MatFormer ఆర్కిటెక్చర్‌ను ఉపయోగిస్తుంది, ఇది నిర్దిష్ట అభ్యర్థన ఆధారంగా మోడల్ పారామీటర్లను ఎంపిక ప్రకారం యాక్టివేట్ చేస్తుంది. ఇది మోడల్‌ను దాని పరిమాణం మరియు గణన అవసరాలను డైనమిక్‌గా సర్దుబాటు చేయడానికి అనుమతిస్తుంది, తద్వారా వనరుల వినియోగాన్ని ఆప్టిమైజ్ చేస్తుంది.
షరతులతో కూడిన పారామీటర్ లోడింగ్: మెమరీ వనరులను ఆదా చేయడానికి, Gemma 3n అనవసరమైన పారామీటర్లను లోడ్ చేయకుండా దాటవేయగలదు, ఉదాహరణకు విజువల్ లేదా ఆడియో అవసరం లేనప్పుడు సంబంధిత పారామీటర్లను లోడ్ చేయకపోవచ్చు. ఇది సామర్థ్యాన్ని మరింత పెంచుతుంది మరియు విద్యుత్ వినియోగాన్ని తగ్గిస్తుంది.
గోప్యతకు ప్రాధాన్యత మరియు ఆఫ్‌లైన్‌లో సిద్ధంగా ఉండటం: ఇంటర్నెట్ కనెక్షన్ లేకుండా స్థానికంగా AI ఫీచర్‌లను అమలు చేయడం వినియోగదారుల గోప్యతను నిర్ధారిస్తుంది. అంటే మీ డేటా మీ పరికరాన్ని విడిచి వెళ్లదు మరియు మీరు నెట్‌వర్క్ కనెక్షన్ లేకుండా AI ఫీచర్‌లను ఉపయోగించవచ్చు.
మల్టీమోడల్ అవగాహన: Gemma 3n ఆడియో, టెక్స్ట్, చిత్రాలు మరియు వీడియో ఇన్‌పుట్‌లకు అధునాతన మద్దతును అందిస్తుంది, తద్వారా సంక్లిష్టమైన రియల్ టైమ్ మల్టీమోడల్ పరస్పర చర్యలను అనుమతిస్తుంది. ఇది AI మోడల్‌ను వివిధ రకాల ఇన్‌పుట్‌లను అర్థం చేసుకోవడానికి మరియు ప్రతిస్పందించడానికి వీలు కల్పిస్తుంది, తద్వారా మరింత సహజమైన మరియు స్పష్టమైన వినియోగదారు అనుభవాన్ని అందిస్తుంది.
ఆడియో ఫీచర్‌లు: ఇది ఆటోమేటిక్ స్పీచ్ రికగ్నిషన్ (ASR) మరియు వాయిస్ టు టెక్స్ట్ ట్రాన్స్‌లేషన్‌ను అందిస్తుంది, అధిక నాణ్యత గల ట్రాన్స్‌క్రిప్షన్‌తో మరియు బహుళ భాషలకు మద్దతు ఇస్తుంది. అంటే మీరు Gemma 3nను ఉపయోగించి మాట్లాడే పదాలను టెక్స్ట్‌గా మార్చవచ్చు మరియు ఒక భాషలోని వాయిస్‌ను మరొక భాషలోకి అనువదించవచ్చు.
మెరుగైన బహుళ భాషా సామర్థ్యాలు: జపనీస్, జర్మన్, కొరియన్, స్పానిష్ మరియు ఫ్రెంచ్ వంటి భాషల పనితీరును గణనీయంగా మెరుగుపరిచింది. ఇది Gemma 3n వివిధ భాషల్లోని టెక్స్ట్‌ను మరింత ఖచ్చితంగా అర్థం చేసుకోవడానికి మరియు ఉత్పత్తి చేయడానికి వీలు కల్పిస్తుంది.
32K టోకెన్ కాంటెక్స్ట్: ఇది ఒకే అభ్యర్థనలో పెద్ద మొత్తంలో డేటాను ప్రాసెస్ చేయగలదు, తద్వారా సుదీర్ఘ సంభాషణలు మరియు మరింత సంక్లిష్టమైన పనులను అమలు చేయడానికి వీలు కల్పిస్తుంది. అంటే మీరు Gemma 3nకు ఎక్కువ టెక్స్ట్ ఇన్‌పుట్‌ను అందించవచ్చు, దాని కాంటెక్స్ట్ విండోను మించిపోతుందనే భయం లేకుండా.
Gemma 3nతో త్వరగా ప్రారంభించడం
Gemma 3nని ఉపయోగించడం చాలా సులభం. ఈ శక్తివంతమైన మోడల్‌ను అన్వేషించడానికి మరియు అనుసంధానం చేయడానికి డెవలపర్‌లకు రెండు ప్రధాన మార్గాలు ఉన్నాయి.
1. Google AI Studio: వేగవంతమైన నమూనా రూపకల్పన
Google AI Studioలో లాగిన్ అవ్వండి, స్టూడియోకి వెళ్లి, Gemma 3n E4B మోడల్‌ను ఎంచుకోండి, ఆపై Gemma 3n యొక్క ఫీచర్‌లను అన్వేషించడం ప్రారంభించవచ్చు. సమగ్రంగా అమలు చేయడానికి ముందు త్వరగా నమూనా రూపకల్పన చేయడానికి మరియు ఆలోచనలను పరీక్షించడానికి ఈ స్టూడియో చాలా అనుకూలంగా ఉంటుంది.
మీరు API కీని పొందవచ్చు మరియు మీ స్థానిక AI చాట్‌బాట్‌లోకి మోడల్‌ను అనుసంధానం చేయవచ్చు, ముఖ్యంగా Msty అప్లికేషన్ ద్వారా.
అదనంగా, మీరు Google GenAI Python SDKని ఉపయోగించవచ్చు, కొన్ని లైన్ల కోడ్‌తో మీ అప్లికేషన్‌లోకి మోడల్‌ను అనుసంధానం చేయవచ్చు. ఇది Gemma 3nను మీ ప్రాజెక్ట్‌లోకి అనుసంధానం చేయడం చాలా సులభం చేస్తుంది.
2. Google AI Edgeతో పరికరం-వైపు అభివృద్ధి: స్థానిక అప్లికేషన్‌లను నిర్మించడం
Gemma 3nను నేరుగా వారి అప్లికేషన్‌లలోకి అనుసంధానం చేయాలనుకునే డెవలపర్‌ల కోసం, Google AI Edge Android మరియు Chrome పరికరాల్లో పరికరం-వైపు అభివృద్ధి కోసం అవసరమైన సాధనాలు మరియు లైబ్రరీలను అందిస్తుంది. స్థానికంగా Gemma 3n ఫీచర్‌లను ఉపయోగించే అప్లికేషన్‌లను నిర్మించడానికి ఈ పద్ధతి చాలా అనుకూలంగా ఉంటుంది.
Google AI Edge అనేక రకాల సాధనాలు మరియు లైబ్రరీలను అందిస్తుంది, ఇవి డెవలపర్‌లు Gemma 3nను వారి అప్లికేషన్‌లలోకి సులభంగా అనుసంధానం చేయడానికి సహాయపడతాయి. ఈ సాధనాల్లో ఇవి ఉన్నాయి:
- TensorFlow Lite: మొబైల్ పరికరాల్లో AI మోడల్‌లను అమలు చేయడానికి తేలికపాటి ఫ్రేమ్‌వర్క్.
- ML Kit: మొబైల్ అప్లికేషన్‌లలో మెషిన్ లెర్నింగ్ ఫీచర్‌లను జోడించడానికి APIల సమాహారం.
- Android Neural Networks API (NNAPI): పరికరంలోని హార్డ్‌వేర్ యాక్సిలరేటర్‌లను ఉపయోగించి AI మోడల్‌లను అమలు చేయడానికి API.
Google AI Edgeను ఉపయోగించడం ద్వారా, డెవలపర్‌లు అనేక వినూత్న అప్లికేషన్‌లను నిర్మించవచ్చు, వీటిలో:
- ఆఫ్‌లైన్ వాయిస్ రికగ్నిషన్: వినియోగదారులు ఇంటర్నెట్ కనెక్షన్ లేకుండా వాయిస్ కమాండ్‌లను ఉపయోగించి వారి పరికరాలను నియంత్రించడానికి అనుమతిస్తుంది.
- రియల్ టైమ్ ఇమేజ్ రికగ్నిషన్: వినియోగదారులు చిత్రాలను క్లౌడ్‌కు అప్‌లోడ్ చేయకుండానే వాటిలోని వస్తువులను గుర్తించడానికి అనుమతిస్తుంది.
- స్మార్ట్ టెక్స్ట్ జనరేషన్: వినియోగదారులు ఇమెయిల్‌లు, కథనాలు మరియు కోడ్ వంటి వివిధ రకాల టెక్స్ట్‌లను రూపొందించడానికి అనుమతిస్తుంది.