Evolusi Llama: Menantang Status Quo
Ketika Llama pertama kali muncul, ia menantang dominasi LLM closed-source besar dari raksasa teknologi. Meta AI mengadopsi strategi yang berfokus pada model yang lebih kecil dan lebih umum. Ide intinya adalah bahwa model-model yang lebih kecil ini, yang dilatih pada sejumlah besar token, akan lebih mudah dan lebih hemat biaya untuk dilatih ulang dan disesuaikan untuk tugas-tugas khusus. Pendekatan ini sangat kontras dengan tren membangun model yang semakin besar dan intensif sumber daya.
Namun, sifat ‘open-source’ Llama menjadi bahan perdebatan. Lisensi Meta Llama mencakup batasan khusus pada penggunaan komersial dan yang dapat diterima. Meskipun batasan ini bisa dibilang dapat dibenarkan, batasan tersebut bertentangan dengan definisi ketat open source dari Open Source Initiative. Hal ini menyebabkan diskusi yang sedang berlangsung tentang apakah Llama benar-benar memenuhi syarat sebagai open source.
Menavigasi Tantangan Hukum: Masalah Hak Cipta
Pengembangan Llama bukannya tanpa rintangan hukum. Pada tahun 2023, Meta menghadapi dua gugatan class-action dari penulis yang menuduh bahwa buku-buku berhak cipta mereka digunakan tanpa izin untuk melatih Llama. Gugatan ini menyoroti masalah hak cipta yang kompleks seputar data pelatihan yang digunakan untuk model bahasa besar. Sejauh ini, pengadilan belum terlalu bersimpati dengan klaim para penulis.
Memperluas Kemampuan: Keluarga Model Llama yang Berkembang
Sejak akhir 2023, Meta AI telah secara signifikan memperluas keluarga Llama. Model-model tersebut tidak lagi terbatas pada interaksi berbasis teks. Ekosistem Llama saat ini mencakup model multi-modal yang mampu memproses input teks dan visual, serta model yang dirancang untuk interpretasi kode dan integrasi alat. Selain itu, Meta telah memperkenalkan komponen keselamatan, yang dikenal sebagai Llama Guard, untuk mengidentifikasi dan mengurangi potensi risiko dan serangan, ini dirancang untuk menjadi bagian dari kerangka kerja keseluruhan yang disebut ‘Llama Stack.’
Berikut ini adalah tinjauan lebih mendalam tentang beberapa model kunci dalam keluarga Llama (diringkas dari kartu model Meta AI):
Llama Guard 1: Menjaga Interaksi
Llama Guard 1 adalah model 7 miliar parameter berdasarkan Llama 2. Ia berfungsi sebagai pengaman input-output, mengklasifikasikan konten baik dalam prompt pengguna (prompt classification) maupun respons LLM (response classification). Model ini membantu memastikan interaksi yang lebih aman dan lebih bertanggung jawab dengan sistem berbasis Llama.
Llama Guard menggunakan taksonomi enam tingkat untuk mengkategorikan potensi bahaya:
- Violence & Hate: Konten yang mempromosikan kekerasan atau kebencian terhadap individu atau kelompok.
- Sexual Content: Materi seksual eksplisit atau konten yang mengeksploitasi, melecehkan, atau membahayakan anak-anak.
- Guns & Illegal Weapons: Konten yang terkait dengan penjualan, penggunaan, atau modifikasi senjata api dan senjata lainnya secara ilegal.
- Regulated or Controlled Substances: Konten yang mempromosikan penggunaan atau penjualan obat-obatan terlarang, alkohol, atau tembakau secara ilegal.
- Suicide & Self Harm: Konten yang mendorong atau memberikan instruksi untuk bunuh diri atau menyakiti diri sendiri.
- Criminal Planning: Konten yang memfasilitasi atau merencanakan kegiatan ilegal.
Code Llama 70B: Tiga Kemampuan Pengkodean
Code Llama 70B menandai ekspansi signifikan dalam kemampuan pengkodean Llama. Model ini tersedia dalam tiga varian berbeda:
- Code Llama: Model dasar yang dirancang untuk sintesis dan pemahaman kode secara umum. Ia dapat menghasilkan kode, menjelaskan fungsionalitas kode, dan membantu debugging.
- Code Llama – Python: Versi khusus yang dirancang untuk pemrograman Python. Model ini dioptimalkan untuk menghasilkan dan memahami kode Python, menjadikannya alat yang berharga bagi pengembang Python.
- Code Llama – Instruct: Varian yang berfokus pada mengikuti instruksi dan memastikan penerapan yang lebih aman. Model ini sangat berguna untuk menghasilkan kode yang mematuhi pedoman dan protokol keselamatan tertentu.
Ketiga varian tersedia dalam ukuran yang berbeda: 7 miliar, 13 miliar, 34 miliar, dan 70 miliar parameter. Code Llama dan variannya dirancang untuk penggunaan komersial dan penelitian, terutama dalam bahasa Inggris dan bahasa pemrograman terkait. Ada banyak bukti yang menunjukkan bahwa Code Llama memiliki kemampuan pengkodean yang kuat.
Llama Guard 2: Klasifikasi Keamanan yang Ditingkatkan
Llama Guard 2 dibangun di atas fondasi pendahulunya, menawarkan kemampuan klasifikasi keamanan yang ditingkatkan. Model 8 miliar parameter ini, berdasarkan Llama 3, dilatih untuk memprediksi label keamanan di 11 kategori, selaras dengan taksonomi bahaya MLCommons.
Kategori bahaya yang dicakup oleh Llama Guard 2 meliputi:
- S1: Violent Crimes: Konten yang terkait dengan tindakan kriminal kekerasan.
- S2: Non-Violent Crimes: Konten yang terkait dengan pelanggaran pidana non-kekerasan.
- S3: Sex-Related Crimes: Konten yang melibatkan pelanggaran seksual.
- S4: Child Sexual Exploitation: Konten yang mengeksploitasi, melecehkan, atau membahayakan anak-anak secara seksual.
- S5: Specialized Advice: Nasihat yang tidak memenuhi syarat atau menyesatkan di bidang khusus (misalnya, medis, hukum, keuangan).
- S6: Privacy: Konten yang melanggar privasi atau mengungkapkan informasi pribadi tanpa persetujuan.
- S7: Intellectual Property: Konten yang melanggar hak kekayaan intelektual.
- S8: Indiscriminate Weapons: Konten yang terkait dengan senjata yang menyebabkan kerusakan luas dan tanpa pandang bulu.
- S9: Hate: Konten yang mengekspresikan kebencian atau prasangka terhadap individu atau kelompok.
- S10: Suicide & Self-Harm: Konten yang mempromosikan atau memberikan instruksi untuk bunuh diri atau menyakiti diri sendiri.
- S11: Sexual Content: Materi seksual eksplisit.
Meta Llama 3: Fleksibilitas dalam Dialog
Meta Llama 3 ditawarkan dalam dua ukuran, 8 miliar dan 70 miliar parameter, dengan varian yang telah dilatih sebelumnya dan disesuaikan dengan instruksi. Model yang disesuaikan dengan instruksi secara khusus dioptimalkan untuk aplikasi berbasis dialog, membuatnya cocok untuk chatbot dan sistem AI percakapan.
Prompt Guard: Bertahan Terhadap Input Berbahaya
Prompt Guard adalah model pengklasifikasi yang dirancang untuk mendeteksi prompt berbahaya, termasuk jailbreak (upaya untuk melewati batasan keamanan) dan prompt injection (upaya untuk memanipulasi output model melalui input yang dibuat). Meta AI merekomendasikan untuk menyempurnakan Prompt Guard dengan data khusus aplikasi untuk mencapai kinerja yang optimal.
Tidak seperti Llama Guard, Prompt Guard tidak memerlukan struktur prompt tertentu. Ia beroperasi pada input string, mengklasifikasikannya sebagai aman atau tidak aman (pada dua tingkat keparahan yang berbeda). Ini adalah model BERT yang hanya mengeluarkan label.
Llama Guard 3: Keamanan Multi-Modal dan Multi-Bahasa
Llama Guard 3 tersedia dalam tiga versi: Llama Guard 3 1B, Llama Guard 3 8B, dan Llama Guard 3 11B-Vision. Dua yang pertama adalah model khusus teks, sedangkan yang ketiga menggabungkan kemampuan pemahaman visi dari model Llama 3.2 11B-Vision. Semua versi multi-bahasa (untuk prompt khusus teks) dan mematuhi kategori bahaya yang ditentukan oleh konsorsium MLCommons.
Llama Guard 3 8B juga dapat digunakan untuk kategori S14, Code Interpreter Abuse. Penting untuk dicatat bahwa model Llama Guard 3 1B tidak dioptimalkan untuk kategori khusus ini.
Kategori bahaya, yang diperluas dari Llama Guard 2 adalah:
- S1: Violent Crimes
- S2: Non-Violent Crimes
- S3: Sex-Related Crimes
- S4: Child Sexual Exploitation
- S5: Defamation
- S6: Specialized Advice
- S7: Privacy
- S8: Intellectual Property
- S9: Indiscriminate Weapons
- S10: Hate
- S11: Suicide & Self-Harm
- S12: Sexual Content
- S13: Elections
- S14: Code Interpreter Abuse
Meta Llama 3.1: Model Generatif Multi-Bahasa
Koleksi Meta Llama 3.1 terdiri dari model bahasa besar multi-bahasa, termasuk model generatif yang telah dilatih sebelumnya dan disesuaikan dengan instruksi dalam ukuran 8 miliar, 70 miliar, dan 405 miliar parameter (input teks, output teks).
Bahasa yang didukung meliputi: Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand.
Meta Llama 3.2: Kemampuan Dialog yang Ditingkatkan
Koleksi Llama 3.2 menampilkan model bahasa besar multi-bahasa, yang mencakup model generatif yang telah dilatih sebelumnya dan disesuaikan dengan instruksi dalam ukuran 1 miliar dan 3 miliar parameter (input teks, output teks). Versi terkuantisasi dari model-model ini juga tersedia. Model khusus teks Llama 3.2 yang disesuaikan dengan instruksi dioptimalkan untuk dialog multi-bahasa, unggul dalam tugas-tugas seperti pengambilan dan peringkasan agentik. Model 1B dan 3B adalah turunan yang lebih kecil dan kurang kuat dari Llama 3.1.
Bahasa yang didukung secara resmi adalah: Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand. Namun, Llama 3.2 telah dilatih pada berbagai bahasa yang lebih luas di luar delapan bahasa ini.
Llama 3.2-Vision: Penalaran dan Pemahaman Gambar
Koleksi Llama 3.2-Vision memperkenalkan model bahasa besar multi-modal. Model-model ini telah dilatih sebelumnya dan disesuaikan dengan instruksi untuk penalaran gambar, tersedia dalam ukuran 11 miliar dan 90 miliar parameter (input teks dan gambar, output teks). Model yang disesuaikan dengan instruksi dioptimalkan untuk pengenalan visual, penalaran gambar, captioning, dan menjawab pertanyaan umum tentang gambar.
Untuk tugas khusus teks, bahasa yang didukung secara resmi adalah Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand. Llama 3.2 telah dilatih pada set bahasa yang lebih luas, tetapi untuk aplikasi gambar+teks, bahasa Inggris adalah satu-satunya bahasa yang didukung.
Meta Llama 3.3: Model 70B yang Kuat
Model bahasa besar multi-bahasa Meta Llama 3.3 adalah model generatif yang telah dilatih sebelumnya dan disesuaikan dengan instruksi dengan 70 miliar parameter (input teks, output teks).
Bahasa yang didukung: Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thailand.
Penting untuk dipahami bahwa model bahasa besar, termasuk Llama 3.2, tidak dimaksudkan untuk penerapan yang terisolasi. Mereka harus diintegrasikan ke dalam sistem AI yang komprehensif dengan pagar pembatas keamanan yang sesuai. Pengembang diharapkan untuk menerapkan pengamanan sistem, terutama saat membangun sistem agentik.
Llama 3.3, model khusus teks Llama 3.2, dan Llama 3.1 menyertakan dukungan bawaan untuk alat berikut:
- Brave Search: Panggilan alat untuk melakukan pencarian web.
- Wolfram Alpha: Panggilan alat untuk menjalankan perhitungan matematika yang kompleks.
- Code Interpreter: Panggilan alat yang memungkinkan model untuk mengeluarkan kode Python.
Catatan: Model visi Llama 3.2 tidak mendukung pemanggilan alat dengan input teks+gambar.
Llama Stack: Kerangka Kerja Terpadu
Jumlah model Llama yang sangat banyak bisa sangat membingungkan. Untuk menyederhanakan proses pemilihan dan integrasi, Meta menawarkan Llama Stack. Kerangka kerja ini menekankan model Llama tetapi juga menyediakan adaptor untuk kemampuan terkait, seperti basis data vektor untuk retrieval-augmented generation (RAG).
Llama Stack saat ini mendukung SDK di Python, Swift, Node, dan Kotlin. Ia menawarkan berbagai distribusi, termasuk:
- Distribusi lokal (menggunakan Ollama): Untuk pengembangan dan pengujian lokal.
- Distribusi on-device (iOS dan Android): Untuk menerapkan model Llama pada perangkat seluler.
- Distribusi untuk GPU: Untuk memanfaatkan kekuatan GPU untuk pemrosesan yang lebih cepat.
- Distribusi yang dihosting dari jarak jauh (Together dan Fireworks): Untuk mengakses model Llama melalui layanan berbasis cloud.
Konsep inti di balik Llama Stack adalah untuk memungkinkan pengembang membangun aplikasi secara lokal dan kemudian dengan mudah beralih ke lingkungan produksi. Ia bahkan menyediakan Llama Stack Playground interaktif untuk pengembangan lokal terhadap Llama Stack jarak jauh.
Menjalankan Model Llama: Opsi Penerapan yang Fleksibel
Model Llama dapat diterapkan di berbagai platform, termasuk Linux, Windows, macOS, dan cloud. Model Llama terkuantisasi, seperti Llama 3.2 dan Llama 3.2-Vision, dapat berjalan secara efektif pada perangkat keras modern, bahkan pada laptop seperti M4 Pro MacBook Pro menggunakan alat seperti Ollama.
Meta menyediakan panduan cara yang komprehensif untuk menerapkan dan menggunakan model Llama. Selain itu, panduan integrasi tersedia untuk kerangka kerja populer seperti LangChain dan LlamaIndex.
Singkatnya, Llama telah melampaui sekadar model bahasa sederhana, sekarang menjadi kerangka kerja AI multi-modal lengkap dengan fitur keamanan, pembuatan kode, dan dukungan untuk banyak bahasa. Sistem Meta memungkinkannya untuk diterapkan di banyak tempat, tetapi masalah hukum dengan data pelatihan, dan argumen tentang apakah Llama adalah open source, terus berlanjut.