IBM baru-baru ini mengumumkan pratonton Granite 4.0 Tiny, lelaran paling padat dalam siri model bahasa Granite 4.0 yang akan datang. Diedarkan di bawah lesen Apache 2.0 yang permisif, model ini direka dengan teliti untuk pemprosesan konteks panjang dan aplikasi yang dipacu arahan, dengan berhati-hati mengimbangi kecekapan sumber, kebolehaksesan terbuka dan prestasi yang mantap. Pelancaran ini menggariskan komitmen berterusan IBM terhadap pembangunan dan penggunaan model asas yang bukan sahaja terbuka dan telus tetapi juga disesuaikan khusus untuk aplikasi gred perusahaan.
Pratonton Granite 4.0 Tiny merangkumi dua versi yang berbeza: Base-Preview, yang mempamerkan seni bina hanya penyahkod yang inovatif, dan Tiny-Preview (Instruct), yang diperhalusi untuk interaksi perbualan dan berbilang bahasa. Walaupun dengan kiraan parameter yang diminimumkan, Granite 4.0 Tiny mencapai keputusan yang kompetitif merentas pelbagai penanda aras penaakulan dan penjanaan, menyerlahkan keberkesanan reka bentuk hybridnya.
Seni Bina Mendalam: Rangka Kerja Hibrid Mixture-of-Experts dengan Dinamik Inspirasi Mamba-2
Inti kepada Granite 4.0 Tiny terletak pada seni bina hibrid Mixture-of-Experts (MoE) yang canggih, yang terdiri daripada sejumlah 7 bilion parameter, dengan hanya 1 bilion parameter yang terlibat secara aktif semasa setiap laluan ke hadapan. Ketumpatan intrinsik ini membolehkan model menyampaikan prestasi berskala sambil mengurangkan permintaan pengiraan dengan ketara, menjadikannya sangat sesuai untuk penggunaan dalam persekitaran yang terhad sumber dan untuk senario inferens berasaskan tepi.
Varian Base-Preview memanfaatkan seni bina hanya penyahkod yang dipertingkatkan dengan lapisan gaya Mamba-2, menawarkan alternatif berulang linear kepada mekanisme perhatian tradisional. Inovasi seni bina ini membolehkan model berskala dengan lebih berkesan dengan panjang input yang semakin meningkat, dengan itu meningkatkan keberkesanannya dalam tugas konteks panjang seperti analisis dokumen yang mendalam, ringkasan dialog yang komprehensif dan menjawab soalan intensif pengetahuan.
Satu lagi keputusan seni bina yang patut diberi perhatian ialah pelaksanaan NoPE (No Positional Encodings). Daripada bergantung pada pembenaman kedudukan tetap atau dipelajari, model menggabungkan maklumat kedudukan terus ke dalam dinamik lapisannya. Pendekatan ini menggalakkan generalisasi yang lebih baik merentas panjang input yang berbeza-beza dan membantu mengekalkan ketekalan sepanjang penjanaan urutan panjang.
Prestasi Penanda Aras: Kecekapan Tanpa Mengorbankan Keupayaan
Walaupun sebagai keluaran pratonton, Granite 4.0 Tiny telah menunjukkan peningkatan prestasi yang ketara berbanding model sebelumnya dalam siri Granite IBM. Dalam penilaian penanda aras, Base-Preview mempamerkan:
- Peningkatan 5.6 mata pada DROP (Discrete Reasoning Over Paragraphs), penanda aras yang diiktiraf secara meluas untuk menjawab soalan berbilang lompatan yang menilai keupayaan model untuk menaakul merentas berbilang segmen teks untuk mendapatkan jawapan.
- Peningkatan 3.8 mata pada AGIEval, penanda aras komprehensif yang direka untuk menilai pemahaman bahasa umum dan keupayaan penaakulan, meliputi spektrum tugas linguistik dan kognitif yang luas.
Keuntungan prestasi ini boleh dikaitkan dengan kedua-dua seni bina lanjutan model dan rejimen pralatihan yang meluas, yang dilaporkan melibatkan pemprosesan 2.5 trilion token yang diambil daripada domain dan struktur linguistik yang pelbagai. Pralatihan yang meluas ini membolehkan model menangkap pelbagai corak dan hubungan dalam data, yang membawa kepada generalisasi dan prestasi yang lebih baik merentas pelbagai tugas.
Varian Ditala Arahan: Disesuaikan untuk Dialog, Kejelasan dan Sokongan Berbilang Bahasa yang Luas
Varian Granite-4.0-Tiny-Preview (Instruct) dibina berdasarkan model asas melalui gabungan Supervised Fine-Tuning (SFT) dan Reinforcement Learning (RL), menggunakan set data gaya Tülu yang merangkumi dialog terbuka dan dijana secara sintetik. Pendekatan yang disesuaikan ini mengoptimumkan model untuk mengikuti arahan dan aplikasi interaktif.
Menyokong tetingkap input token 8,192 dan panjang penjanaan token 8,192, model mengekalkan koheren dan kesetiaan merentas interaksi yang diperluas. Tidak seperti hibrid pengekod-penyahkod, yang sering mengorbankan kebolehinterpretasian untuk keuntungan prestasi, persediaan hanya penyahkod di sini menghasilkan output yang lebih jelas dan lebih boleh dikesan, menjadikannya sangat berharga untuk aplikasi perusahaan dan kritikal keselamatan di mana ketelusan dan kebolehramalan adalah yang terpenting.
Metrik Penilaian Terperinci:
- 86.1 pada IFEval, menunjukkan prestasi yang kukuh dalam penanda aras berikut arahan, mencerminkan keupayaan model untuk melaksanakan arahan yang kompleks dengan tepat dan berkesan.
- 70.05 pada GSM8K, penanda aras yang memfokuskan pada penyelesaian masalah matematik sekolah rendah, menunjukkan kebolehan model untuk penaakulan kuantitatif dan operasi aritmetik.
- 82.41 pada HumanEval, mengukur ketepatan penjanaan kod Python, mempamerkan kecekapan model dalam menjana coretan kod yang betul dari segi sintaks dan bermakna dari segi semantik.
Tambahan pula, model arahan menyokong interaksi berbilang bahasa merentas 12 bahasa, memudahkan penggunaan global dalam perkhidmatan pelanggan, automasi perusahaan dan alat pendidikan. Keupayaan berbilang bahasa ini meluaskan jangkauan dan kebolehgunaan model, membolehkannya memenuhi pelbagai pengguna dan kes penggunaan merentas konteks linguistik yang berbeza. Bahasa yang disokong termasuk Bahasa Inggeris, Sepanyol, Perancis, Jerman, Itali, Portugis, Belanda, Rusia, Cina, Jepun, Korea dan Arab, meliputi sebahagian besar penduduk dunia.
Kepentingan Ketersediaan Sumber Terbuka
Keputusan IBM untuk mengeluarkan kedua-dua model Granite 4.0 Tiny di bawah lesen Apache 2.0 ialah langkah penting ke arah memupuk ketelusan dan kerjasama dalam komuniti AI. Dengan menyediakan akses terbuka kepada pemberat model, fail konfigurasi dan skrip penggunaan sampel, IBM memperkasakan penyelidik, pembangun dan organisasi untuk bebas bereksperimen, memperhalusi dan menyepadukan model ke dalam aliran kerja NLP mereka sendiri. Pendekatan sumber terbuka ini bukan sahaja mempercepatkan inovasi tetapi juga menggalakkan pemahaman yang lebih mendalam tentang keupayaan dan batasan model.
Lesen Apache 2.0 amat berfaedah kerana ia membenarkan penggunaan perisian secara komersial dan bukan komersial, tanpa memerlukan pengguna untuk mendedahkan sebarang pengubahsuaian atau karya terbitan. Lesen permisif ini menggalakkan penerimaan dan percubaan yang meluas, memupuk ekosistem yang bersemangat di sekitar model Granite 4.0 Tiny. Tambahan pula, ketersediaan model di Hugging Face, platform popular untuk berkongsi dan menemui model pralatihan, memastikan bahawa ia mudah diakses oleh khalayak yang luas.
Ketersediaan sumber terbuka Granite 4.0 Tiny juga selaras dengan komitmen IBM yang lebih luas terhadap pembangunan AI yang bertanggungjawab. Dengan menjadikan model telus dan boleh diaudit, IBM membolehkan pengguna meneliti tingkah laku mereka, mengenal pasti potensi berat sebelah dan memastikan bahawa ia digunakan dengan cara yang selamat dan beretika. Komitmen terhadap ketelusan ini adalah penting untuk membina kepercayaan dalam sistem AI dan menggalakkan penggunaan bertanggungjawab mereka dalam pelbagai domain.
Meletakkan Asas untuk Granite 4.0: Gambaran Sekilas ke Masa Depan
Pratonton Granite 4.0 Tiny menawarkan petunjuk awal strategi komprehensif IBM untuk suite model bahasa generasi seterusnya. Dengan menyepadukan seni bina MoE yang cekap, sokongan konteks panjang yang mantap dan penalaan berfokuskan arahan, keluarga model Granite 4.0 bertujuan untuk menyampaikan keupayaan terkini dalam pakej yang boleh diurus dan dioptimumkan sumber. Pendekatan ini menggariskan komitmen IBM untuk membangunkan penyelesaian AI yang bukan sahaja berkuasa tetapi juga praktikal dan boleh diakses.
Gabungan tiga elemen utama ini - seni bina yang cekap, sokongan konteks panjang dan penalaan berfokuskan arahan - meletakkan Granite 4.0 sebagai model bahasa serba boleh dan boleh disesuaikan yang sesuai untuk pelbagai aplikasi. Seni bina MoE yang cekap membolehkan model berskala dengan berkesan dengan data dan kerumitan yang semakin meningkat, manakala sokongan konteks panjang membolehkannya memproses dan memahami dokumen dan perbualan yang panjang. Penalaan berfokuskan arahan, sebaliknya, memastikan bahawa model boleh melaksanakan arahan yang kompleks dengan tepat dan berkesan, menjadikannya sesuai untuk tugas seperti menjawab soalan, meringkaskan teks dan penjanaan kod.
Apabila lebih banyak varian Granite 4.0 didedahkan, kita boleh menjangkakan IBM untuk terus mengukuhkan pelaburannya dalam AI yang bertanggungjawab dan terbuka, menubuhkan dirinya sebagai kuasa penting dalam membentuk trajektori model bahasa yang telus dan berprestasi tinggi untuk aplikasi perusahaan dan penyelidikan. Pelaburan berterusan ini mencerminkan kepercayaan IBM bahawa AI harus dibangunkan dan digunakan dengan cara yang beretika dan bermanfaat kepada masyarakat. Dengan mengutamakan ketelusan, akauntabiliti dan kesaksamaan, IBM menyasarkan untuk membina sistem AI yang bukan sahaja berkuasa tetapi juga boleh dipercayai dan selaras dengan nilai manusia.
Siri Granite 4.0 mewakili langkah penting ke hadapan dalam evolusi model bahasa, menawarkan gabungan prestasi, kecekapan dan ketelusan yang menarik. Apabila IBM terus berinovasi dalam bidang ini, kita boleh menjangkakan untuk melihat lebih banyak perkembangan terobosan yang akan terus mengubah cara kita berinteraksi dengan dan menggunakan AI. Pratonton Granite 4.0 Tiny hanyalah permulaan, dan masa depan model bahasa kelihatan lebih cerah berbanding sebelum ini. Penekanan pada keupayaan konteks panjang, khususnya, membuka kemungkinan baharu untuk aplikasi AI dalam domain seperti penyelidikan saintifik, analisis undang-undang dan analisis dokumen sejarah, di mana keupayaan untuk memproses dan memahami teks yang panjang dan kompleks adalah penting.
Tambahan pula, keupayaan berbilang bahasa model Granite 4.0 menjadikannya sesuai untuk penggunaan global dalam pelbagai industri, daripada perkhidmatan pelanggan hingga pendidikan. Dengan menyokong pelbagai bahasa, IBM memastikan bahawa penyelesaian AInya boleh diakses oleh khalayak yang pelbagai, tanpa mengira bahasa ibunda mereka. Komitmen terhadap keterangkuman ini adalah penting untuk mempromosikan penerimaan AI yang meluas dan memastikan bahawa manfaatnya dikongsi oleh semua.
Selain keupayaan teknikalnya, siri Granite 4.0 juga mencerminkan komitmen IBM terhadap pembangunan AI yang bertanggungjawab. Dengan mengutamakan ketelusan, akauntabiliti dan kesaksamaan, IBM membina sistem AI yang bukan sahaja berkuasa tetapi juga boleh dipercayai dan selaras dengan nilai manusia. Komitmen terhadap AI yang bertanggungjawab ini adalah penting untuk membina kepercayaan awam dalam AI dan memastikan bahawa ia digunakan untuk faedah masyarakat. Ini termasuk memastikan bahawa model dilatih pada set data yang pelbagai dan representatif, dan bahawa langkah-langkah telah diambil untuk mengurangkan potensi berat sebelah dalam output model. Tambahan pula, IBM komited untuk menyediakan penjelasan dan justifikasi yang jelas untuk keputusan AI, membolehkan pengguna memahami cara model itu berfungsi dan mengapa ia membuat keputusan tertentu.
Di samping itu, IBM aktif bekerjasama dengan penyelidik dan pakar lain dalam bidang ini untuk memajukan amalan pembangunan AI yang bertanggungjawab. Ini termasuk mengambil bahagian dalam inisiatif dan piawaian industri, serta berkongsi amalan dan alat terbaik dengan komuniti AI yang lebih luas. Dengan bekerjasama dengan orang lain, IBM menyasarkan untuk mewujudkan ekosistem AI yang lebih bertanggungjawab dan mampan.
Granite 4.0 Tiny hanyalah satu contoh daripada komitmen berterusan IBM terhadap inovasi AI dan pembangunan yang bertanggungjawab. Apabila teknologi AI terus berkembang, IBM berdedikasi untuk kekal di barisan hadapan dan memastikan bahawa AI digunakan dengan cara yang memberi manfaat kepada masyarakat secara keseluruhan. Ini memerlukan tumpuan yang berterusan pada penyelidikan dan pembangunan, serta komitmen untuk bekerjasama dengan orang lain untuk menangani cabaran dan peluang yang dibentangkan oleh AI.
Dengan terus melabur dalam inovasi AI dan pembangunan yang bertanggungjawab, IBM menyasarkan untuk memainkan peranan utama dalam membentuk masa depan AI dan memastikan bahawa ia digunakan untuk mencipta dunia yang lebih baik untuk semua. Ini termasuk menangani cabaran yang ditimbulkan oleh AI, seperti kebimbangan tentang kehilangan pekerjaan, ketidakadilan dan potensi untuk penyalahgunaan, serta memanfaatkan peluang yang ditawarkannya, seperti potensi untuk meningkatkan produktiviti, meningkatkan penjagaan kesihatan dan menangani cabaran global seperti perubahan iklim.
Granite 4.0 juga komited untuk memastikan bahawa teknologi AInya boleh diakses oleh semua, tanpa mengira kemampuan atau lokasi mereka. Ini termasuk membangunkan model yang cekap dari segi sumber dan boleh digunakan pada pelbagai peranti, serta menyediakan sumber dan sokongan untuk membantu orang ramai mempelajari dan menggunakan AI. Dengan menjadikan AI lebih mudah diakses, IBM berharap untuk memperkasakan lebih ramai orang untuk mendapat manfaat daripada teknologi yang berkuasa ini.
Akhirnya, IBM percaya bahawa AI harus digunakan untuk meningkatkan keupayaan manusia, bukannya menggantikannya. Ini memerlukan tumpuan pada pembangunan sistem AI yang bekerjasama dengan manusia dan menyokong mereka dalam tugas mereka, bukannya cuba menggantikan mereka sepenuhnya. Dengan mereka bentuk sistem AI yang bersifat berpusatkan manusia, IBM berharap untuk mencipta masa depan di mana AI digunakan untuk memperkasakan orang ramai dan membantu mereka mencapai potensi penuh mereka.
Komitmen IBM terhadap inovasi AI dan pembangunan yang bertanggungjawab ditunjukkan dalam usaha berterusan syarikat untuk memajukan sempadan kemungkinan AI dan memastikan bahawa teknologi yang berkuasa ini digunakan untuk manfaat masyarakat secara keseluruhan. Melalui tumpuan berterusannya pada penyelidikan dan pembangunan, kerjasama dan keterangkuman, IBM berada pada kedudukan yang baik untuk memimpin jalan ke arah masa depan AI yang lebih bertanggungjawab dan mampan.
Masa depan AI adalah cerah, dan IBM berdedikasi untuk memastikan bahawa ia dibangunkan dan digunakan dengan cara yang selaras dengan nilai manusia dan menyumbang kepada dunia yang lebih baik untuk semua. Ini memerlukan tumpuan berterusan pada inovasi, kerjasama dan pembangunan yang bertanggungjawab, serta komitmen untuk menangani cabaran dan peluang yang dibentangkan oleh AI. Dengan bekerjasama, kita boleh mencipta masa depan di mana AI digunakan untuk memperkasakan orang ramai, meningkatkan masyarakat dan menangani cabaran global yang paling mendesak yang kita hadapi. Granite 4.0 ialah bukti komitmen IBM terhadap visi ini, dan kami berharap untuk melihat apa yang akan dicapai oleh teknologi yang berkuasa ini pada tahun-tahun akan datang.