Microsoft Phi-4: SLM Berakal Seperti Gergasi!

Microsoft Phi-4 Reasoning mempersembahkan SLM (Small Language Models - Model Bahasa Kecil) yang padat, berlesen MIT dengan berat terbuka (open-weight), pantas, dan cekap yang mampu memberikan penaakulan lanjutan.

Microsoft, walaupun merupakan rakan kongsi istimewa OpenAI dan bekerjasama dengan kebanyakan pemain untuk mengintegrasikan model AI mereka ke dalam Azure AI Foundry, tidak mengelak daripada meneruskan jalan teknologi sendiri. Ini termasuk mengusahakan inovasi di teras rangkaian neural, seperti model BitNet b1.58 yang menarik berdasarkan Trit, SLM sumber terbuka mereka sendiri, dan juga model perintis yang dirahsiakan (Project MAI-1).

Setahun selepas memperkenalkan rangkaian model AI kecilnya (SLM) Phi-3 dan dua bulan selepas memulakan generasi ke-4 dengan SLM multimodal (Phi-4-Multimodal) dan model kecil (Phi-4-mini), Microsoft mengumumkan tiga varian baharu SLM generasi terbaharunya: Phi-4-reasoning, Phi-4-reasoning-plus, dan Phi-4-mini-reasoning.

Dikeluarkan pada 30 April 2025, versi "bersepadu penaakulan" ini mengembangkan penawaran berat terbuka model padat untuk pembangun yang perlu mengekalkan kependaman rendah sambil memerlukan penaakulan yang kompleks.

Pada teras pendekatan jurutera Microsoft untuk menjadikan SLM mereka "menaakul": bergantung pada penyeliaan halus (SFT) daripada rantaian penaakulan OpenAI o3-mini, dan memanfaatkan pembelajaran pengukuhan (RL) untuk versi "plus". "Melalui penyulingan, pembelajaran pengukuhan, dan data berkualiti tinggi, model ini mendamaikan saiz dan prestasi," jelas Microsoft.

Kecil tetapi Berbakat

Keputusan pada pelbagai penanda aras terkemuka di pasaran sudah cukup untuk membuat persaingan menjadi pucat: biasanya dengan hanya 14 bilion parameter, Phi-4-reasoning mengatasi DeepSeek-R1-Distill-Llama-70B (70 bilion parameter) pada siri AIME 2025, MMLU-Pro atau HumanEval-Plus, dan mendekati model DeepSeek-R1 yang lengkap (671 bilion parameter)! Varian Phi-4-reasoning-plus, selaras pada 14 bilion parameter yang sama tetapi dilatih dengan 1.5 kali lebih banyak token, hampir sepadan dengan skor o3-mini OpenAI pada OmniMath! Untuk makluman, Phi-4-reasoning mendapat manfaat daripada tetingkap konteks 128,000 token klasik yang telah dilanjutkan kepada 256,000 token untuk versi Phi-4-reasoning-plus.

Direka untuk sistem terbenam, Phi-4-mini-reasoning memaparkan 3.8 bilion parameter, set sintetik satu juta masalah matematik yang dijana oleh DeepSeek-R1, dan mencapai prestasi o1-mini pada Math-500 sambil mengatasi beberapa model dengan 7 hingga 8 bilion parameter. Dengan saiznya yang sangat kecil, model ini sesuai untuk pelaksanaan tempatan, termasuk pada peranti mudah alih, dan untuk memenuhi keperluan tindak balas hampir serta-merta. Ia amat sesuai untuk kegunaan pendidikan dan chatbot tempatan.

Model Terbuka untuk Pelbagai Kegunaan

Di bahagian penggunaan, CISO akan mendapati model ini sudah dioptimumkan untuk Copilot+ PC: varian NPU "Phi Silica" dipramuat ke dalam memori dan menyediakan masa tindak balas hampir serta-merta, menjamin kohabitasi cekap tenaga dengan aplikasi perniagaan. API Windows membenarkan penyepaduan penjanaan luar talian ke dalam Outlook atau alatan dalaman.

Dari segi keselamatan, Microsoft mendakwa saluran paip selaras dengan prinsip tanggungjawabnya — akauntabiliti, keadilan, kebolehpercayaan, keselamatan dan keterangkuman. Model menjalani pasca latihan yang menggabungkan SFT, Pengoptimuman Keutamaan Langsung, dan RLHF daripada set berorientasikan "membantu/tidak berbahaya" awam dan dalaman. Microsoft juga menerbitkan "Kad" modelnya, yang memperincikan batasan sisa dan langkah mitigasi.

Tersedia sekarang di Azure AI Foundry, Hugging Face, dan GitHub Models, ketiga-tiga model diterbitkan di bawah lesen MIT yang sangat permisif, membuka jalan kepada inferens tempatan serta penggunaan awan hibrid. Untuk pasukan keselamatan dan seni bina, generasi SLM baharu ini menawarkan alternatif yang boleh dipercayai kepada LLM yang besar, dengan TCO yang dikurangkan, pelaksanaan secara tempatan serta di Edge, dan peningkatan kawalan data. Model ini membuktikan kemajuan luar biasa yang dicapai oleh SLM dalam setahun dan potensi hebat mereka dalam alam semesta yang mencari AI yang lebih murah dan lebih menjimatkan tenaga dan sumber.

Menyelami Lebih Dalam Keupayaan Penaakulan Phi-4

Ketibaan keluarga model Phi-4 mewakili langkah penting ke hadapan dalam pembangunan model bahasa kecil (SLM). Apa yang membezakan model ini ialah keupayaan penaakulan mereka yang dipertingkatkan, dicapai melalui teknik latihan yang inovatif dan tumpuan pada data berkualiti tinggi. Komitmen Microsoft terhadap prinsip sumber terbuka seterusnya mendemokrasikan akses kepada alatan berkuasa ini, memperkasakan pembangun untuk mengintegrasikan keupayaan AI lanjutan ke dalam pelbagai aplikasi.

Memahami Seni Bina

Model Phi-4 dibina di atas seni bina transformer, rangka kerja yang terbukti untuk pemprosesan bahasa semula jadi. Walau bagaimanapun, Microsoft telah melaksanakan beberapa inovasi utama untuk mengoptimumkan model untuk tugas penaakulan.

• Penyeliaan Halus (SFT): Model dilatih menggunakan teknik yang dipanggil penyeliaan halus (SFT), yang melibatkan pembelajaran daripada rantaian penaakulan terperinci yang dijana oleh model o3-mini OpenAI. Ini membolehkan model Phi-4 mempelajari langkah-langkah yang terlibat dalam proses penaakulan yang kompleks.
• Pembelajaran Pengukuhan (RL): Varian "plus" model Phi-4, Phi-4-reasoning-plus, menggunakan pembelajaran pengukuhan (RL) untuk meningkatkan lagi keupayaan penaakulannya. RL melibatkan melatih model untuk memaksimumkan isyarat ganjaran, yang dalam kes ini adalah berdasarkan ketepatan dan kecekapan penaakulannya.
• Penyulingan: Penyulingan digunakan untuk memindahkan pengetahuan daripada model yang lebih besar dan kompleks kepada model Phi-4 yang lebih kecil. Ini membolehkan SLM mencapai tahap prestasi yang setanding dengan model yang jauh lebih besar, sambil mengekalkan saiz dan kecekapan padat mereka.

Penanda Aras Prestasi

Model Phi-4 telah menunjukkan prestasi yang mengagumkan pada pelbagai penanda aras penaakulan, mengatasi model yang lebih besar dalam beberapa kes. Contohnya, Phi-4-reasoning, dengan hanya 14 bilion parameter, mengatasi DeepSeek-R1-Distill-Llama-70B (70 bilion parameter) pada beberapa set data yang mencabar, termasuk AIME 2025, MMLU-Pro, dan HumanEval-Plus. Ini menyerlahkan kecekapan dan keberkesanan seni bina dan teknik latihan Phi-4.

Varian Phi-4-reasoning-plus, yang dilatih dengan 1.5 kali lebih banyak token, mencapai skor yang hampir dengan o3-mini OpenAI pada penanda aras OmniMath, menunjukkan keupayaannya untuk menangani masalah penaakulan matematik yang kompleks.

Aplikasi dan Kes Penggunaan

Model Phi-4 sesuai untuk pelbagai aplikasi yang memerlukan keupayaan penaakulan lanjutan.

• Alat Pendidikan: Model Phi-4-mini-reasoning, dengan saiznya yang kecil dan prestasi tinggi, sesuai untuk aplikasi pendidikan. Ia boleh digunakan untuk mencipta alatan pembelajaran interaktif yang menyediakan pelajar dengan maklum balas dan sokongan yang diperibadikan.
• Chatbot Tempatan: Model Phi-4 boleh digunakan untuk membina chatbot tempatan yang menyediakan pengguna dengan akses segera kepada maklumat dan sokongan. Saiznya yang kecil membolehkan ia digunakan pada peranti mudah alih dan persekitaran terhad sumber yang lain.
• Copilot+ PC: Model Phi-4 dioptimumkan untuk Copilot+ PC, menyediakan pengguna dengan pengalaman AI yang lancar. Varian "Phi Silica" dipramuat ke dalam memori dan menyediakan masa tindak balas hampir serta-merta.
• Penjanaan Luar Talian: API Windows membenarkan penyepaduan penjanaan luar talian ke dalam Outlook atau alatan dalaman, membolehkan pengguna mengakses keupayaan AI walaupun mereka tidak disambungkan ke internet.

Keselamatan dan Tanggungjawab

Microsoft komited untuk membangunkan dan menggunakan model AI secara bertanggungjawab dan beretika. Model Phi-4 tidak terkecuali.

• Prinsip Tanggungjawab: Saluran paip pembangunan AI Microsoft selaras dengan prinsip tanggungjawabnya, yang merangkumi akauntabiliti, keadilan, kebolehpercayaan, keselamatan dan keterangkuman.
• Pasca Latihan: Model Phi-4 menjalani pasca latihan menggunakan SFT, Pengoptimuman Keutamaan Langsung, dan RLHF daripada set data awam dan dalaman yang berorientasikan "membantu/tidak berbahaya". Ini membantu memastikan model adalah selamat dan boleh dipercayai.
• Kad Model: Microsoft menerbitkan "Kad" untuk modelnya, yang memperincikan batasan sisa dan langkah mitigasi. Ini menyediakan pengguna dengan ketelusan dan membolehkan mereka membuat keputusan termaklum tentang cara menggunakan model.

Masa Depan SLM

Model Phi-4 mewakili langkah penting ke hadapan dalam pembangunan model bahasa kecil (SLM). Keupayaan penaakulan mereka yang dipertingkatkan, digabungkan dengan saiz dan kecekapan kecil mereka, menjadikan mereka alternatif yang menarik kepada model bahasa yang lebih besar (LLM) dalam banyak aplikasi.

Apabila SLM terus bertambah baik, mereka mungkin memainkan peranan yang semakin penting dalam landskap AI. Keupayaan mereka untuk berjalan pada peranti terhad sumber dan memberikan prestasi yang pantas dan cekap menjadikan mereka sesuai untuk pelbagai aplikasi, daripada alatan pendidikan hingga chatbot tempatan hingga peranti pengkomputeran tepi.

Komitmen Microsoft terhadap prinsip sumber terbuka dan pembangunan AI yang bertanggungjawab seterusnya meletakkan model Phi-4 sebagai sumber yang berharga untuk komuniti AI. Dengan mendemokrasikan akses kepada alatan berkuasa ini, Microsoft memperkasakan pembangun untuk mencipta aplikasi inovatif dan memberi impak yang boleh memberi manfaat kepada masyarakat secara keseluruhan.

Pandangan Lebih Dekat pada Aspek Teknikal

Mendalami spesifik seni bina dan latihan Phi-4 mendedahkan teknik inovatif yang membolehkan SLM ini mencapai keupayaan penaakulan yang begitu mengagumkan. Gabungan set data yang disusun dengan teliti, algoritma latihan yang canggih, dan tumpuan pada kecekapan telah menghasilkan keluarga model yang berkuasa dan praktikal.

Susun Atur dan Persediaan Data

Kejayaan mana-mana model pembelajaran mesin bergantung pada kualiti dan perkaitan data yang dilatih di atasnya. Microsoft melaburkan usaha yang signifikan dalam menyusun dan menyediakan set data yang digunakan untuk melatih model Phi-4.

• Rantaian Penaakulan daripada o3-mini OpenAI: Model memanfaatkan rantaian penaakulan yang dijana oleh model o3-mini OpenAI untuk mempelajari langkah-langkah yang terlibat dalam proses penaakulan yang kompleks. Rantaian ini menyediakan peta jalan terperinci untuk diikuti oleh SLM, membolehkan mereka mengembangkan pemahaman yang lebih mendalam tentang logik asas.
• Masalah Matematik Sintetik: Model Phi-4-mini-reasoning dilatih pada set data sintetik satu juta masalah matematik yang dijana oleh DeepSeek-R1. Set data ini menyediakan pelbagai cabaran matematik, membolehkan model mengembangkan kemahiran menyelesaikan masalah yang kuat.
• Set Data Membantu/Tidak Berbahaya: Model menjalani pasca latihan menggunakan set data yang direka untuk menggalakkan bantuan dan tidak berbahaya. Ini membantu memastikan model menjana output yang selamat dan bertanggungjawab.

Algoritma Latihan

Model Phi-4 dilatih menggunakan gabungan pembelajaran diselia, pembelajaran pengukuhan, dan penyulingan. Teknik ini bekerjasama untuk mengoptimumkan model untuk tugas penaakulan dan memastikan mereka tepat dan cekap.

• Penalaan Halus Diselia (SFT): SFT digunakan untuk menala halus model pada rantaian penaakulan yang dijana oleh model o3-mini OpenAI. Ini membolehkan model mempelajari corak dan hubungan khusus yang menjadi ciri proses penaakulan yang kompleks.
• Pembelajaran Pengukuhan (RL): RL digunakan untuk melatih model Phi-4-reasoning-plus untuk memaksimumkan isyarat ganjaran berdasarkan ketepatan dan kecekapan penaakulannya. Ini menggalakkan model untuk mengembangkan strategi untuk menyelesaikan masalah yang berkesan dan cekap dari segi pengiraan.
• Penyulingan: Penyulingan digunakan untuk memindahkan pengetahuan daripada model yang lebih besar dan kompleks kepada model Phi-4 yang lebih kecil. Ini membolehkan SLM mencapai tahap prestasi yang setanding dengan model yang jauh lebih besar, sambil mengekalkan saiz dan kecekapan padat mereka.

Pengoptimuman untuk Kecekapan

Salah satu matlamat utama dalam membangunkan model Phi-4 adalah untuk mengoptimumkannya untuk kecekapan. Ini ditunjukkan dalam beberapa aspek reka bentuk dan latihan mereka.

• Seni Bina Padat: Model Phi-4 direka dengan seni bina padat yang meminimumkan bilangan parameter yang diperlukan. Ini mengurangkan kos pengiraan untuk menjalankan model dan menjadikan mereka sesuai untuk penggunaan pada peranti terhad sumber.
• Kuantisasi: Kuantisasi digunakan untuk mengurangkan jejak memori model dan meningkatkan kelajuan inferens mereka. Ini melibatkan mewakili parameter model menggunakan lebih sedikit bit, yang boleh mengurangkan kos pengiraan untuk menjalankan model dengan ketara.
• Pecutan Perkakasan: Model Phi-4 dioptimumkan untuk pecutan perkakasan pada pelbagai platform, termasuk CPU, GPU, dan NPU. Ini membolehkan mereka mencapai prestasi maksimum pada pelbagai peranti.

Implikasi untuk Masa Depan AI

Model Phi-4 mewakili langkah penting ke hadapan dalam pembangunan AI, dengan implikasi yang melangkaui aplikasi khusus yang direka untuk mereka. Keupayaan mereka untuk mencapai prestasi tinggi dengan saiz dan sumber pengiraan yang agak kecil membuka kemungkinan baharu untuk menggunakan AI dalam pelbagai tetapan.

Pendemokrasian AI

Model Phi-4 adalah bukti kepada fakta bahawa keupayaan AI yang berkuasa boleh dicapai tanpa memerlukan sumber pengiraan yang besar atau akses kepada set data proprietari. Ini mendemokrasikan akses kepada AI, memperkasakan pembangun dan penyelidik untuk mencipta aplikasi inovatif walaupun dengan sumber yang terhad.

Pengkomputeran Tepi

Saiz kecil dan kecekapan model Phi-4 menjadikan mereka sesuai untuk aplikasi pengkomputeran tepi. Ini membolehkan AI digunakan lebih dekat dengan sumber data, mengurangkan kependaman dan meningkatkan responsif. Pengkomputeran tepi berpotensi untuk merevolusikan pelbagai industri, daripada pembuatan hingga penjagaan kesihatan hingga pengangkutan.

AI Peribadi

Model Phi-4 boleh disesuaikan dan disesuaikan untuk memenuhi keperluan khusus pengguna atau organisasi individu. Ini membolehkan penciptaan pengalaman AI peribadi yang disesuaikan dengan keperluan unik setiap pengguna. AI peribadi berpotensi untuk meningkatkan produktiviti, meningkatkan pembelajaran, dan meningkatkan kesejahteraan keseluruhan.

AI Mampan

Model Phi-4 adalah alternatif yang lebih mampan kepada model bahasa yang lebih besar, memerlukan kurang tenaga dan sumber pengiraan. Ini penting untuk mengurangkan impak alam sekitar AI dan memastikan ia boleh digunakan secara bertanggungjawab dan mampan.

Model Microsoft Phi-4-Reasoning bukan sahaja satu lagi lelaran dalam dunia AI yang sentiasa berkembang; mereka adalah perubahan paradigma. Mereka menunjukkan bahawa kecerdasan bukan semata-mata fungsi saiz dan kuasa pengiraan tetapi boleh dicapai melalui reka bentuk pintar, susun atur data yang teliti, dan teknik latihan yang inovatif. Apabila model ini terus berkembang, mereka bersedia untuk membuka kemungkinan baharu untuk AI dan mengubah cara kita berinteraksi dengan teknologi.