میٹا کا لاما: ایک ماڈل سے بڑھ کر

لاما کا ارتقاء: اسٹیٹس کو کو چیلنج کرنا

جب Llama پہلی بار منظر عام پر آیا، تو اس نے ٹیک জায়ান্ট کمپنیوں کے بڑے، بند سورس LLMs کے غلبے کو چیلنج کیا۔ Meta AI نے ایک ایسی حکمت عملی اپنائی جس میں چھوٹے، زیادہ عام ماڈلز پر توجہ مرکوز کی گئی۔ بنیادی خیال یہ تھا کہ ان چھوٹے ماڈلز کو، جو کہ ٹوکنز کی ایک بڑی تعداد پر تربیت یافتہ ہیں، مخصوص کاموں کے لیے دوبارہ تربیت دینا اور ٹھیک کرنا آسان اور زیادہ کفایتی ہوگا۔ یہ نقطہ نظر بڑے، وسائل سے بھرپور ماڈلز بنانے کے رجحان سے بالکل متصادم تھا۔

تاہم، Llama کی ‘اوپن سورس’ نوعیت بحث کا موضوع ہے۔ Meta Llama لائسنس میں تجارتی اور قابل قبول استعمال پر مخصوص پابندیاں شامل ہیں۔ اگرچہ یہ پابندیاں معقول حد تک جائز ہیں، لیکن یہ اوپن سورس انیشی ایٹو کی اوپن سورس کی سخت تعریف سے متصادم ہیں۔ اس کی وجہ سے یہ بحث جاری ہے کہ آیا Llama واقعی اوپن سورس کے طور پر اہل ہے یا نہیں۔

قانونی چیلنجز سے نمٹنا: کاپی رائٹ کے خدشات

Llama کی ترقی قانونی رکاوٹوں کے بغیر نہیں رہی ہے۔ 2023 میں، Meta کو مصنفین کی جانب سے دو کلاس ایکشن مقدمات کا سامنا کرنا پڑا جنہوں نے الزام لگایا کہ ان کی کاپی رائٹ شدہ کتابیں Llama کو تربیت دینے کے لیے بغیر اجازت کے استعمال کی گئیں۔ یہ مقدمے بڑے لینگویج ماڈلز کے لیے استعمال ہونے والے تربیتی ڈیٹا کے ارد گرد کاپی رائٹ کے پیچیدہ مسائل کو اجاگر کرتے ہیں۔ اب تک، عدالتیں مصنفین کے دعووں سے زیادہ ہمدردی نہیں رکھتی ہیں۔

صلاحیتوں کو بڑھانا: Llama کا بڑھتا ہوا ماڈل فیملی

2023 کے آخر سے، Meta AI نے Llama فیملی کو نمایاں طور پر وسیع کیا ہے۔ ماڈلز اب صرف ٹیکسٹ پر مبنی تعاملات تک محدود نہیں ہیں۔ موجودہ Llama ایکو سسٹم میں ملٹی ماڈل ماڈلز شامل ہیں جو ٹیکسٹ اور بصری ان پٹ دونوں پر کارروائی کرنے کی صلاحیت رکھتے ہیں، ساتھ ہی کوڈ کی تشریح اور ٹول انٹیگریشن کے لیے ڈیزائن کیے گئے ماڈلز بھی۔ مزید برآں، Meta نے Llama Guard کے نام سے حفاظتی اجزاء متعارف کرائے ہیں، تاکہ ممکنہ خطرات اور حملوں کی نشاندہی کی جا سکے اور ان کو کم کیا جا سکے، یہ ایک مجموعی فریم ورک کا حصہ بننے کے لیے ڈیزائن کیے گئے ہیں جسے ‘Llama Stack’ کہا جاتا ہے۔

یہاں Llama فیملی کے کچھ اہم ماڈلز پر ایک گہری نظر ڈالی گئی ہے (Meta AI کے ماڈل کارڈز سے مختصر):

Llama Guard 1: بات چیت کی حفاظت

Llama Guard 1 ایک 7 بلین پیرامیٹر ماڈل ہے جو Llama 2 پر مبنی ہے۔ یہ ان پٹ آؤٹ پٹ سیف گارڈ کے طور پر کام کرتا ہے، صارف کے پرامپٹس (پرامپٹ درجہ بندی) اور LLM کے جوابات (رسپانس درجہ بندی) دونوں میں مواد کی درجہ بندی کرتا ہے۔ یہ ماڈل Llama پر مبنی سسٹمز کے ساتھ محفوظ اور زیادہ ذمہ دارانہ تعاملات کو یقینی بنانے میں مدد کرتا ہے۔

Llama Guard ممکنہ نقصانات کی درجہ بندی کرنے کے لیے چھ سطحوں کا درجہ بندی کا نظام استعمال کرتا ہے:

• تشدد اور نفرت: تشدد یا نفرت کو فروغ دینے والا مواد۔
• جنسی مواد: جنسی طور پر واضح مواد یا ایسا مواد جو بچوں کا استحصال کرتا ہو، زیادتی کرتا ہو یا انہیں خطرے میں ڈالتا ہو۔
• بندوقیں اور غیر قانونی ہتھیار: غیر قانونی فروخت، استعمال، یا آتشیں اسلحہ اور دیگر ہتھیاروں میں تبدیلی سے متعلق مواد۔
• ریگولیٹڈ یا کنٹرول شدہ مادے: منشیات، الکحل، یا تمباکو کے غیر قانونی استعمال یا فروخت کو فروغ دینے والا مواد۔
• خودکشی اور خود کو نقصان پہنچانا: خودکشی یا خود کو نقصان پہنچانے کی حوصلہ افزائی کرنے والا یا ہدایات فراہم کرنے والا مواد۔
• مجرمانہ منصوبہ بندی: ایسا مواد جو غیر قانونی سرگرمیوں میں سہولت فراہم کرتا ہو یا منصوبہ بندی کرتا ہو۔

Code Llama 70B: کوڈنگ کی مہارت کا ایک مجموعہ

Code Llama 70B نے Llama کی کوڈنگ کی صلاحیتوں میں ایک اہم توسیع کی۔ یہ ماڈل تین الگ الگ اقسام میں دستیاب ہے:

• Code Llama: عام کوڈ کی ترکیب اور سمجھ کے لیے ڈیزائن کیا گیا بنیادی ماڈل۔ یہ کوڈ تیار کر سکتا ہے، کوڈ کی فعالیت کی وضاحت کر سکتا ہے، اور ڈیبگنگ میں مدد کر سکتا ہے۔
• Code Llama – Python: Python پروگرامنگ کے لیے تیار کردہ ایک خصوصی ورژن۔ یہ ماڈل Python کوڈ بنانے اور سمجھنے کے لیے موزوں ہے، جو اسے Python ڈویلپرز کے لیے ایک قیمتی ٹول بناتا ہے۔
• Code Llama – Instruct: ہدایات پر عمل کرنے اور محفوظ تعیناتی کو یقینی بنانے پر توجہ مرکوز کرنے والا ایک قسم۔ یہ ماڈل خاص طور پر کوڈ تیار کرنے کے لیے مفید ہے جو مخصوص رہنما خطوط اور حفاظتی پروٹوکولز پر عمل پیرا ہو۔

تینوں اقسام مختلف سائز میں دستیاب ہیں: 7 بلین، 13 بلین، 34 بلین، اور 70 بلین پیرامیٹرز۔ Code Llama اور اس کی اقسام بنیادی طور پر انگریزی اور متعلقہ پروگرامنگ زبانوں میں تجارتی اور تحقیقی استعمال دونوں کے لیے ڈیزائن کیے گئے ہیں۔ اس بات کے کافی شواہد موجود ہیں کہ Code Llama مضبوط کوڈنگ کی صلاحیتوں کا حامل ہے۔

Llama Guard 2: بہتر حفاظتی درجہ بندی

Llama Guard 2 اپنے پیشرو کی بنیاد پر استوار ہے، جو بہتر حفاظتی درجہ بندی کی صلاحیتیں پیش کرتا ہے۔ یہ 8 بلین پیرامیٹر ماڈل، Llama 3 پر مبنی، 11 زمروں میں حفاظتی لیبلز کی پیشین گوئی کرنے کے لیے تربیت یافتہ ہے، جو MLCommons کے خطرات کی درجہ بندی کے مطابق ہے۔

Llama Guard 2 کے ذریعے احاطہ کیے گئے خطرے کے زمرے میں شامل ہیں:

• S1: پرتشدد جرائم: پرتشدد مجرمانہ کارروائیوں سے متعلق مواد۔
• S2: غیر متشدد جرائم: غیر متشدد مجرمانہ کارروائیوں سے متعلق مواد۔
• S3: جنسی جرائم: جنسی جرائم سے متعلق مواد۔
• S4: بچوں کا جنسی استحصال: ایسا مواد جو بچوں کا جنسی استحصال کرتا ہو، زیادتی کرتا ہو یا انہیں خطرے میں ڈالتا ہو۔
• S5: خصوصی مشورہ: خصوصی شعبوں میں غیر مستند یا گمراہ کن مشورہ (مثلاً، طبی، قانونی، مالی)۔
• S6: رازداری: ایسا مواد جو رازداری کی خلاف ورزی کرتا ہو یا بغیر اجازت کے ذاتی معلومات ظاہر کرتا ہو۔
• S7: املاک دانش: ایسا مواد جو املاک دانش کے حقوق کی خلاف ورزی کرتا ہو۔
• S8: اندھا دھند ہتھیار: ایسے ہتھیاروں سے متعلق مواد جو وسیع پیمانے پر اور اندھا دھند نقصان پہنچاتے ہیں۔
• S9: نفرت: افراد یا گروہوں کے خلاف نفرت یا تعصب کا اظہار کرنے والا مواد۔
• S10: خودکشی اور خود کو نقصان پہنچانا: خودکشی یا خود کو نقصان پہنچانے کو فروغ دینے والا یا ہدایات فراہم کرنے والا مواد۔
• S11: جنسی مواد: جنسی طور پر واضح مواد۔

Meta Llama 3: مکالمے میں استعداد

Meta Llama 3 دو سائز میں پیش کیا جاتا ہے، 8 بلین اور 70 بلین پیرامیٹرز، پہلے سے تربیت یافتہ اور ہدایات کے مطابق بنائے گئے دونوں قسم کے ساتھ۔ ہدایات کے مطابق بنائے گئے ماڈلز خاص طور پر مکالمے پر مبنی ایپلی کیشنز کے لیے موزوں ہیں، جو انہیں چیٹ بوٹس اور بات چیت کرنے والے AI سسٹمز کے لیے موزوں بناتے ہیں۔

Prompt Guard: نقصان دہ ان پٹس کے خلاف دفاع

Prompt Guard ایک درجہ بندی کا ماڈل ہے جو نقصان دہ پرامپٹس کا پتہ لگانے کے لیے ڈیزائن کیا گیا ہے، جس میں جیل بریکس (حفاظتی پابندیوں کو نظرانداز کرنے کی کوششیں) اور پرامپٹ انجیکشنز (تیار کردہ ان پٹس کے ذریعے ماڈل کے آؤٹ پٹ میں ہیرا پھیری کرنے کی کوششیں) شامل ہیں۔ Meta AI بہترین کارکردگی حاصل کرنے کے لیے ایپلی کیشن کے مخصوص ڈیٹا کے ساتھ Prompt Guard کو ٹھیک کرنے کی سفارش کرتا ہے۔

Llama Guard کے برعکس، Prompt Guard کو کسی مخصوص پرامپٹ ڈھانچے کی ضرورت نہیں ہے۔ یہ ایک سٹرنگ ان پٹ پر کام کرتا ہے، اسے محفوظ یا غیر محفوظ (دو مختلف شدت کی سطحوں پر) کے طور پر درجہ بندی کرتا ہے۔ یہ ایک BERT ماڈل ہے جو صرف لیبلز کو آؤٹ پٹ کرتا ہے۔

Llama Guard 3: ملٹی ماڈل اور کثیر لسانی حفاظت

Llama Guard 3 تین ورژن میں دستیاب ہے: Llama Guard 3 1B, Llama Guard 3 8B, اور Llama Guard 3 11B-Vision. پہلے دو صرف ٹیکسٹ ماڈل ہیں، جبکہ تیسرا Llama 3.2 11B-Vision ماڈل کی بصری سمجھ کی صلاحیتوں کو شامل کرتا ہے۔ تمام ورژن کثیر لسانی ہیں (صرف ٹیکسٹ پرامپٹس کے لیے) اور MLCommons کنسورشیم کے ذریعے بیان کردہ خطرے کے زمروں پر عمل پیرا ہیں۔

Llama Guard 3 8B کو زمرہ S14، کوڈ انٹرپریٹر ابیوز کے لیے بھی استعمال کیا جا سکتا ہے۔ یہ نوٹ کرنا ضروری ہے کہ Llama Guard 3 1B ماڈل اس مخصوص زمرے کے لیے موزوں نہیں ہے۔

خطرے کے زمرے، Llama Guard 2 کے زمروں کو بڑھاتے ہوئے، یہ ہیں:

• S1: پرتشدد جرائم
• S2: غیر متشدد جرائم
• S3: جنسی جرائم
• S4: بچوں کا جنسی استحصال
• S5: بدنامی
• S6: خصوصی مشورہ
• S7: رازداری
• S8: املاک دانش
• S9: اندھا دھند ہتھیار
• S10: نفرت
• S11: خودکشی اور خود کو نقصان پہنچانا
• S12: جنسی مواد
• S13: انتخابات
• S14: کوڈ انٹرپریٹر ابیوز

Meta Llama 3.1: کثیر لسانی تخلیقی ماڈلز

Meta Llama 3.1 مجموعہ کثیر لسانی بڑے لینگویج ماڈلز پر مشتمل ہے، جس میں 8 بلین، 70 بلین، اور 405 بلین پیرامیٹر سائز میں پہلے سے تربیت یافتہ اور ہدایات کے مطابق بنائے گئے تخلیقی ماڈلز شامل ہیں (ٹیکسٹ ان پٹ، ٹیکسٹ آؤٹ پٹ)۔

معاون زبانوں میں شامل ہیں: انگریزی، جرمن، فرانسیسی، اطالوی، پرتگالی، ہندی، ہسپانوی، اور تھائی۔

Meta Llama 3.2: بہتر مکالمے کی صلاحیتیں

Llama 3.2 مجموعہ کثیر لسانی بڑے لینگویج ماڈلز کی خصوصیات رکھتا ہے، جس میں 1 بلین اور 3 بلین پیرامیٹر سائز میں پہلے سے تربیت یافتہ اور ہدایات کے مطابق بنائے گئے تخلیقی ماڈلز شامل ہیں (ٹیکسٹ ان پٹ، ٹیکسٹ آؤٹ پٹ)۔ ان ماڈلز کے کوانٹائزڈ ورژن بھی دستیاب ہیں۔ Llama 3.2 ہدایات کے مطابق بنائے گئے ٹیکسٹ صرف ماڈلز کثیر لسانی مکالمے کے لیے موزوں ہیں، جو ایجنٹک بازیافت اور خلاصہ سازی جیسے کاموں میں بہترین ہیں۔ 1B اور 3B ماڈلز Llama 3.1 کے چھوٹے، کم طاقتور مشتق ہیں۔

سرکاری طور پر معاون زبانیں ہیں: انگریزی، جرمن، فرانسیسی، اطالوی، پرتگالی، ہندی، ہسپانوی، اور تھائی۔ تاہم، Llama 3.2 کو ان آٹھ زبانوں کے علاوہ زبانوں کی ایک وسیع رینج پر تربیت دی گئی ہے۔

Llama 3.2-Vision: امیج ریزننگ اور انڈرسٹینڈنگ

Llama 3.2-Vision مجموعہ ملٹی ماڈل بڑے لینگویج ماڈلز متعارف کراتا ہے۔ یہ ماڈلز امیج ریزننگ کے لیے پہلے سے تربیت یافتہ اور ہدایات کے مطابق بنائے گئے ہیں، جو 11 بلین اور 90 بلین پیرامیٹر سائز میں دستیاب ہیں (ٹیکسٹ اور امیج ان پٹ، ٹیکسٹ آؤٹ پٹ)۔ ہدایات کے مطابق بنائے گئے ماڈلز بصری شناخت، امیج ریزننگ، کیپشننگ، اور تصاویر کے بارے میں عام سوالات کے جواب دینے کے لیے موزوں ہیں۔

صرف ٹیکسٹ کے کاموں کے لیے، سرکاری طور پر معاون زبانیں انگریزی، جرمن، فرانسیسی، اطالوی، پرتگالی، ہندی، ہسپانوی، اور تھائی ہیں۔ Llama 3.2 کو زبانوں کے ایک وسیع سیٹ پر تربیت دی گئی ہے، لیکن امیج + ٹیکسٹ ایپلی کیشنز کے لیے، انگریزی واحد معاون زبان ہے۔

Meta Llama 3.3: ایک طاقتور 70B ماڈل

Meta Llama 3.3 کثیر لسانی بڑا لینگویج ماڈل ایک پہلے سے تربیت یافتہ اور ہدایات کے مطابق بنایا گیا تخلیقی ماڈل ہے جس میں 70 بلین پیرامیٹرز ہیں (ٹیکسٹ ان پٹ، ٹیکسٹ آؤٹ پٹ)۔

معاون زبانیں: انگریزی، جرمن، فرانسیسی، اطالوی، پرتگالی، ہندی، ہسپانوی، اور تھائی۔

یہ سمجھنا بہت ضروری ہے کہ بڑے لینگویج ماڈلز، بشمول Llama 3.2، تنہا تعیناتی کے لیے نہیں ہیں۔ انہیں مناسب حفاظتی گارڈریلز کے ساتھ ایک جامع AI سسٹم میں ضم کیا جانا چاہیے۔ ڈویلپرز سے توقع کی جاتی ہے کہ وہ سسٹم سیف گارڈز کو نافذ کریں، خاص طور پر جب ایجنٹک سسٹم بناتے ہیں۔

Llama 3.3, Llama 3.2 ٹیکسٹ صرف ماڈلز، اور Llama 3.1 میں درج ذیل ٹولز کے لیے بلٹ ان سپورٹ شامل ہے:

• Brave Search: ویب سرچز انجام دینے کے لیے ایک ٹول کال۔
• Wolfram Alpha: پیچیدہ ریاضی کے حساب کتاب کرنے کے لیے ایک ٹول کال۔
• Code Interpreter: ایک ٹول کال جو ماڈل کو Python کوڈ آؤٹ پٹ کرنے کے قابل بناتا ہے۔

نوٹ: Llama 3.2 ویژن ماڈلز ٹیکسٹ + امیج ان پٹس کے ساتھ ٹول کالنگ کی حمایت نہیں کرتے ہیں۔

Llama Stack: ایک متحد فریم ورک

Llama ماڈلز کی بڑی تعداد بہت زیادہ ہو سکتی ہے۔ سلیکشن اور انٹیگریشن کے عمل کو آسان بنانے کے لیے، Meta Llama Stack پیش کرتا ہے۔ یہ فریم ورک Llama ماڈلز پر زور دیتا ہے لیکن متعلقہ صلاحیتوں کے لیے اڈاپٹر بھی فراہم کرتا ہے، جیسے بازیافت-بڑھا ہوا جنریشن (RAG) کے لیے ویکٹر ڈیٹا بیس۔

Llama Stack فی الحال Python, Swift, Node, اور Kotlin میں SDKs کو سپورٹ کرتا ہے۔ یہ مختلف تقسیم پیش کرتا ہے، بشمول:

• مقامی تقسیم (Ollama کا استعمال کرتے ہوئے): مقامی ترقی اور جانچ کے لیے۔
• ڈیوائس پر تقسیم (iOS اور Android): موبائل ڈیوائسز پر Llama ماڈلز کو تعینات کرنے کے لیے۔
• GPUs کے لیے تقسیم: تیز پروسیسنگ کے لیے GPUs کی طاقت سے فائدہ اٹھانے کے لیے۔
• ریموٹ ہوسٹڈ تقسیم (Together اور Fireworks): کلاؤڈ بیسڈ سروسز کے ذریعے Llama ماڈلز تک رسائی کے لیے۔

Llama Stack کے پیچھے بنیادی تصور ڈویلپرز کو مقامی طور پر ایپلی کیشنز بنانے اور پھر آسانی سے پروڈکشن ماحول میں منتقلی کے قابل بنانا ہے۔ یہ ایک ریموٹ Llama Stack کے خلاف مقامی ترقی کے لیے ایک انٹرایکٹو Llama Stack Playground بھی فراہم کرتا ہے۔

Llama ماڈلز کو چلانا: ورسٹائل تعیناتی کے اختیارات

Llama ماڈلز کو مختلف پلیٹ فارمز پر تعینات کیا جا سکتا ہے، بشمول Linux, Windows, macOS, اور کلاؤڈ۔ کوانٹائزڈ Llama ماڈلز، جیسے Llama 3.2 اور Llama 3.2-Vision، جدید ہارڈ ویئر پر مؤثر طریقے سے چل سکتے ہیں، یہاں تک کہ M4 Pro MacBook Pro جیسے لیپ ٹاپ پر بھی Ollama جیسے ٹولز کا استعمال کرتے ہوئے۔

Meta Llama ماڈلز کو تعینات کرنے اور استعمال کرنے کے لیے جامع ہدایات فراہم کرتا ہے۔ مزید برآں، LangChain اور LlamaIndex جیسے مشہور فریم ورکس کے لیے انٹیگریشن گائیڈز دستیاب ہیں۔

خلاصہ یہ کہ، Llama صرف ایک سادہ لینگویج ماڈل ہونے سے آگے بڑھ گیا ہے، اب یہ حفاظتی خصوصیات، کوڈ جنریشن، اور متعدد زبانوں کے لیے سپورٹ کے ساتھ ایک ملٹی ماڈل AI فریم ورک ہے۔ Meta کا سسٹم اسے کئی جگہوں پر تعینات کرنے کی اجازت دیتا ہے، لیکن تربیتی ڈیٹا کے ساتھ قانونی مسائل، اور Llama اوپن سورس ہے یا نہیں اس پر بحث جاری ہے۔