Aliran Keluar Otak Llama: Analisis Mendalam
Model Llama sumber terbuka Meta memainkan peranan penting dalam membentuk strategi AI syarikat. Model-model ini, direka untuk kebolehaksesan dan kerjasama, dengan cepat mendapat perhatian dalam komuniti AI. Walau bagaimanapun, para penyelidik yang mempelopori versi Llama yang asal sebahagian besarnya telah berlepas, mencari peluang dan cabaran baharu di tempat lain.
Daripada 14 individu yang dikreditkan sebagai pengarang dalam kertas kerja penting 2023 yang memperkenalkan Llama kepada dunia, hanya tiga yang kekal di Meta: saintis penyelidikan Hugo Touvron, jurutera penyelidikan Xavier Martinet, dan ketua program teknikal Faisal Azhar. Pemergian 11 pengarang yang selebihnya menandakan kehilangan kepakaran dan pengetahuan institusi yang besar bagi bahagian AI Meta. Ramai bekas penyelidik Meta ini telah menyertai pesaing baharu, yang seterusnya meningkatkan persaingan.
Mistral: Magnet untuk Bakat AI Meta
Kesan aliran keluar otak Meta amat ketara di Mistral, sebuah syarikat permulaan AI yang berpangkalan di Paris yang diasaskan oleh bekas penyelidik Meta Guillaume Lample dan Timothée Lacroix, kedua-duanya arkitek utama model Llama. Mistral telah menarik sebilangan besar alumni Meta, yang kini berusaha untuk membangunkan model sumber terbuka yang berkuasa yang secara langsung mencabar inisiatif AI utama Meta.
Tumpuan bekas bakat Meta di Mistral ini mencadangkan bahawa syarikat permulaan itu mungkin telah mewujudkan persekitaran yang amat menarik bagi penyelidik yang mencari autonomi yang lebih besar, inovasi yang lebih pantas atau budaya organisasi yang berbeza. Keupayaan untuk menarik dan mengekalkan bakat AI terkemuka adalah penting bagi mana-mana syarikat yang ingin memimpin dalam bidang yang kompetitif ini.
Implikasi untuk Aspirasi AI Meta
Pemergian begitu ramai penyelidik utama menimbulkan persoalan tentang keupayaan Meta untuk mengekalkan kedudukannya sebagai kuasa utama dalam penyelidikan dan pembangunan AI. Syarikat itu menghadapi tekanan luaran dan dalaman yang semakin meningkat, termasuk kelewatan dalam pelancaran model AI terbesarnya, Behemoth, disebabkan kebimbangan tentang prestasi dan kepimpinannya. Tambahan pula, Llama 4, keluaran terbaharu Meta, telah menerima sambutan suam-suam kuku daripada pembangun, yang semakin beralih kepada alternatif sumber terbuka yang bergerak lebih pantas seperti DeepSeek dan Qwen untuk keupayaan termaju.
Secara dalaman, pasukan penyelidik Meta juga telah mengalami perubahan besar. Joelle Pineau, yang mengetuai kumpulan Penyelidikan AI Asas (FAIR) syarikat itu selama lapan tahun, telah meletakkan jawatan daripada peranannya. Dia telah digantikan oleh Robert Fergus, yang mengasaskan FAIR pada 2014 dan kemudiannya menghabiskan masa selama lima tahun di DeepMind Google sebelum kembali ke Meta.
Perubahan kepimpinan ini dan pengurangan berterusan penyelidik utama mewujudkan ketidakpastian tentang hala tuju masa depan usaha AI Meta. Syarikat itu mesti menangani faktor-faktor asas yang mendorong bakat pergi dan mewujudkan persekitaran yang lebih menarik dan bermanfaat untuk penyelidiknya yang masih ada.
Landskap AI Sumber Terbuka yang Beralih
Pemergian penyelidik di sebalik kejayaan awal Llama amat membimbangkan memandangkan strategi Meta untuk meletakkan keluarga model sebagai pusat kepada cita-cita AInya. Dengan begitu ramai arkitek asalnya kini bekerja untuk pesaing, Meta menghadapi tugas yang mencabar untuk mempertahankan pendahuluan awalnya tanpa pasukan yang membina model tersebut.
Kertas kerja Llama 2023 merupakan saat yang penting dalam pembangunan AI sumber terbuka. Ia membantu menghalalkan model bahasa besar berat terbuka, yang menyediakan kod dan parameter asas yang tersedia secara percuma untuk orang lain gunakan, ubah suai dan bina. Model ini menawarkan alternatif yang berdaya maju kepada sistem proprietari pada masa itu, seperti GPT-3 OpenAI dan PaLM Google.
Meta melatih modelnya menggunakan data yang tersedia secara umum sahaja dan mengoptimumkannya untuk kecekapan, membolehkan penyelidik dan pembangun menjalankan sistem termaju pada cip GPU tunggal. Pendekatan ini meletakkan Meta sebagai peneraju yang berpotensi dalam gerakan AI sumber terbuka.
Walau bagaimanapun, dua tahun kemudian, pendahuluan Meta telah berkurangan, dan syarikat itu tidak lagi menetapkan kadar dalam inovasi AI sumber terbuka. Pesaing seperti Mistral, DeepSeek dan Qwen telah muncul sebagai pencabar yang hebat, menawarkan model yang lebih maju dan kitaran pembangunan yang lebih pantas.
Keperluan untuk Model Penaakulan
Walaupun pelaburan yang besar dalam AI, Meta masih kekurangan model “penaakulan” khusus, yang direka khusus untuk mengendalikan tugas yang memerlukan pemikiran berbilang langkah, penyelesaian masalah, atau memanggil alatan luaran untuk menyelesaikan arahan yang kompleks. Jurang dalam keupayaan ini semakin ketara apabila syarikat lain, seperti Google dan OpenAI, mengutamakan ciri ini dalam model terbaharu mereka.
Ketiadaan model penaakulan yang kukuh meletakkan Meta pada kedudukan yang kurang baik dalam bilangan aplikasi AI yang semakin meningkat, termasuk pembantu maya, perkhidmatan pelanggan automatik dan analisis data yang kompleks. Meta mesti menangani kekurangan ini jika ia berharap untuk bersaing dengan berkesan pada masa hadapan.
Tempoh Panjang Penyelidik yang Berlepas
Tempoh purata 11 pengarang yang berlepas di Meta adalah lebih daripada lima tahun, menunjukkan bahawa mereka bukan pekerja jangka pendek tetapi penyelidik yang sangat tertanam dalam usaha AI Meta. Penyelidik ini mempunyai pemahaman yang mendalam tentang infrastruktur AI Meta, data dan metodologi penyelidikan.
Sesetengah daripada penyelidik ini pergi seawal Januari 2023, manakala yang lain kekal melalui kitaran Llama 3, dan beberapa orang pergi baru-baru ini tahun ini. Pemergian kolektif mereka menandakan pembongkaran beransur-ansur pasukan yang membantu Meta mewujudkan reputasi AInya pada model terbuka.
Pandangan Ke Mana Mereka Pergi
Berikut adalah butiran mengenai peranan terdahulu, peranan Semasa, masa di, dan tarikh keluar Meta daripada setiap penyelidik yang dipetik dalam artikel:
Naman Goyal
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Ahli Kakitangan Teknikal di Thinking Machines Lab
- Keluar Meta: Februari 2025
- Masa di Meta: 6 tahun, 7 bulan
Baptiste Rozière
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Saintis AI di Mistral
- Keluar Meta: Ogos 2024
- Masa di Meta: 5 tahun, 1 bulan
Aurélien Rodriguez
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Pengarah, Latihan Model Asas di Cohere
- Keluar Meta: Julai 2024
- Masa di Meta: 2 tahun, 7 bulan
Eric Hambro
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Ahli Kakitangan Teknikal di Anthropic
- Keluar Meta: November 2023
- Masa di Meta: 3 tahun, 3 bulan
Timothée Lacroix
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Pengasas Bersama dan CTO di Mistral
- Keluar Meta: Jun 2023
- Masa di Meta: 8 tahun, 5 bulan
Marie-Anne Lachaux
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Ahli Pengasas dan Jurutera Penyelidikan AI di Mistral
- Keluar Meta: Jun 2023
- Masa di Meta: 5 tahun
Thibaut Lavril
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Jurutera Penyelidikan AI di Mistral
- Keluar Meta: Jun 2023
- Masa di Meta: 4 tahun, 5 bulan
Armand Joulin
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Saintis Terbilang di Google DeepMind
- Keluar Meta: Mei 2023
- Masa di Meta: 8 tahun, 8 bulan
Gautier Izacard
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Kakitangan Teknikal di Microsoft AI
- Keluar Meta: Mac 2023
- Masa di Meta: 3 tahun, 2 bulan
Edouard Grave
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Saintis Penyelidikan di Kyutai
- Keluar Meta: Februari 2023
- Masa di Meta: 7 tahun, 2 bulan
Guillaume Lample
- Peranan terdahulu di Meta: Tiada
- Peranan semasa: Pengasas Bersama dan Ketua Saintis di Mistral
- Keluar Meta: Awal 2023
- Masa di Meta: 7 tahun
Masa Depan Strategi AI Meta
Meta menghadapi cabaran yang besar dalam mengekalkan kedudukannya sebagai peneraju dalam penyelidikan dan pembangunan AI. Syarikat itu mesti menangani isu-isu yang mendorong bakat pergi, melabur dalam membangunkan model AI yang lebih maju, dan menyesuaikan diri dengan landskap AI sumber terbuka yang berubah dengan pantas. Kunci kepada kejayaan masa depan Meta terletak pada keupayaannya untuk menarik, mengekalkan dan memperkasakan penyelidik dan jurutera AInya. Tanpa pasukan yang kuat dan berdedikasi, Meta akan bergelut untuk bersaing dengan berkesan pada tahun-tahun akan datang. Syarikat itu juga mesti mengutamakan pembangunan model penaakulan dan keupayaan AI lanjutan lain untuk memenuhi keperluan penggunanya dan pelanggannya yang sentiasa berkembang.