Setahun selepas memperkenalkan rangkaian model bahasa kecilnya (SLM) dengan pelancaran Phi-3 di Azure AI Foundry, Microsoft telah melancarkan model generasi seterusnya: Phi-4-reasoning, Phi-4-reasoning-plus, dan Phi-4-mini-reasoning. Inovasi ini menandakan titik perubahan bagi SLM, mentakrifkan semula apa yang boleh dicapai dengan AI yang padat dan cekap.
Kemunculan Model Phi-Reasoning
Model Phi-reasoning baharu direka untuk memanfaatkan penskalaan masa inferens bagi tugas kompleks yang memerlukan penguraian berbilang langkah dan refleksi dalaman. Model ini menunjukkan keupayaan yang luar biasa dalam penaakulan matematik, meletakkan diri mereka sebagai asas untuk aplikasi seperti agen yang mengendalikan tugas rumit dan pelbagai rupa. Dari segi sejarah, keupayaan sedemikian adalah eksklusif untuk model yang jauh lebih besar. Model Phi-reasoning memperkenalkan kategori baharu SLM yang memanfaatkan penyulingan, pembelajaran pengukuhan dan data berkualiti tinggi untuk mengimbangi antara saiz dan prestasi. Saiznya yang padat menjadikannya sesuai untuk persekitaran kependaman rendah, manakala keupayaan penaakulan yang teguh menandingi model yang jauh lebih besar. Gabungan kecekapan dan keupayaan ini membolehkan peranti yang kekurangan sumber sekalipun melaksanakan tugas penaakulan yang kompleks dengan berkesan.
Phi-4-Reasoning dan Phi-4-Reasoning-Plus: Penerokaan Lebih Mendalam
Phi-4-Reasoning: Model Penaakulan Berat Terbuka
Phi-4-reasoning menonjol sebagai model penaakulan berat terbuka dengan 14 bilion parameter. Ia direka untuk bersaing dengan model yang jauh lebih besar dalam tugas penaakulan yang kompleks. Model ini dilatih melalui penalaan halus diselia Phi-4 pada contoh penaakulan yang disusun dengan teliti yang diperoleh daripada o3-mini OpenAI. Phi-4-reasoning menjana rantaian penaakulan terperinci, menggunakan masa pengiraan tambahan dengan berkesan semasa inferens. Pencapaian ini menggariskan cara penyusunan data yang tepat dan set data sintetik berkualiti tinggi memperkasakan model yang lebih kecil untuk menandingi rakan sejawat mereka yang lebih besar.
Phi-4-Reasoning-Plus: Meningkatkan Penaakulan dengan Pembelajaran Pengukuhan
Berdasarkan keupayaan Phi-4-reasoning, Phi-4-reasoning-plus menjalani latihan selanjutnya dengan pembelajaran pengukuhan untuk mengeksploitasi masa pengiraan tambahan semasa inferens. Ia memproses 1.5 kali lebih banyak token daripada Phi-4-reasoning, menghasilkan ketepatan yang dipertingkatkan.
Penanda Aras Prestasi
Walaupun saiznya jauh lebih kecil, kedua-dua Phi-4-reasoning dan Phi-4-reasoning-plus mengatasi o1-mini OpenAI dan DeepSeek-R1-Distill-Llama-70B merentasi pelbagai penanda aras, termasuk penaakulan matematik dan pertanyaan saintifik peringkat PhD. Hebatnya, mereka malah melepasi model DeepSeek-R1 penuh (dengan 671 bilion parameter) pada ujian AIME 2025, yang berfungsi sebagai pertandingan kelayakan untuk Olimpik Matematik USA 2025. Kedua-dua model mudah diakses di Azure AI Foundry dan Hugging Face.
Phi-4-Mini-Reasoning: Penjana Kuasa Padat untuk Persekitaran Terhad
Phi-4-mini-reasoning direka khusus untuk menangani permintaan untuk model penaakulan yang padat. Model bahasa berasaskan transformer ini dioptimumkan untuk penaakulan matematik dan menawarkan keupayaan penyelesaian masalah langkah demi langkah berkualiti tinggi dalam persekitaran di mana kuasa pengkomputeran atau kependaman adalah terhad. Ditala halus menggunakan data sintetik yang dijana oleh model Deepseek-R1, ia mengimbangi kecekapan dengan keupayaan penaakulan lanjutan dengan berkesan. Ini menjadikannya ideal untuk aplikasi pendidikan, sistem tunjuk ajar terbenam dan penggunaan ringan pada sistem tepi atau mudah alih. Model ini dilatih pada lebih sejuta masalah matematik yang pelbagai, yang terdiri daripada kesukaran dari sekolah menengah hingga peringkat PhD, memastikan kepelbagaian dan keberkesanannya merentasi pelbagai konteks pendidikan.
Phi dalam Tindakan: Meluaskan Horizon
Evolusi Phi sejak setahun lalu secara konsisten telah menolak sempadan kualiti berbanding saiz, dengan keluarga itu berkembang untuk merangkumi ciri baharu yang disesuaikan dengan pelbagai keperluan. Model ini boleh dijalankan secara tempatan pada kedua-dua CPU dan GPU merentasi pelbagai peranti Windows 11, memberikan fleksibiliti dan kebolehaksesan kepada pengguna dengan konfigurasi perkakasan yang berbeza.
Integrasi dengan PC Copilot+: Era Baharu Pengkomputeran Dikuasakan AI
Model Phi membentuk bahagian penting dalam PC Copilot+, memanfaatkan varian Phi Silica yang dioptimumkan oleh NPU. Versi Phi yang sangat cekap ini, yang diuruskan oleh sistem pengendalian, direka untuk dipramuat ke dalam memori, menawarkan masa tindak balas yang pantas dan daya pemprosesan token yang cekap tenaga. Ini membolehkannya dipanggil serentak dengan aplikasi lain pada PC, meningkatkan keupayaan berbilang tugas dan prestasi sistem keseluruhan.
Aplikasi Dunia Sebenar
Model Phi sudah digunakan dalam pengalaman teras seperti Click to Do, yang menyediakan alat teks pintar untuk semua kandungan pada skrin. Ia juga tersedia sebagai API pembangun untuk penyepaduan yang lancar ke dalam aplikasi. Model ini kini digunakan dalam pelbagai aplikasi produktiviti seperti Outlook, di mana ia menyediakan ciri ringkasan Copilot di luar talian. Model Phi-4-reasoning dan Phi-4-mini-reasoning memanfaatkan pengoptimuman bit rendah untuk Phi Silica dan akan segera tersedia untuk dijalankan pada NPU PC Copilot+.
Komitmen Microsoft terhadap AI dan Keselamatan Bertanggungjawab
Di Microsoft, AI yang bertanggungjawab ialah prinsip asas yang membimbing pembangunan dan penggunaan sistem AI, termasuk model Phi. Model Phi dibangunkan selaras dengan prinsip AI Microsoft: akauntabiliti, ketelusan, keadilan, kebolehpercayaan dan keselamatan, privasi dan keselamatan serta keterangkuman. Keluarga model Phi menggunakan pendekatan yang teguh untuk keselamatan selepas latihan, menggunakan gabungan Penalaan Halus Diselia (SFT), Pengoptimuman Keutamaan Langsung (DPO) dan Pembelajaran Pengukuhan daripada Teknik Maklum Balas Manusia (RLHF) untuk memastikan penggunaan yang bertanggungjawab dan beretika.
Asas Teknikal Model Phi: Pemeriksaan Terperinci
Model Phi Microsoft mewakili kemajuan yang ketara dalam bidang model bahasa kecil, terutamanya dalam keupayaan mereka untuk melaksanakan tugas penaakulan yang kompleks dengan parameter yang agak sedikit. Bahagian ini meneliti butiran teknikal yang membolehkan model ini mencapai prestasi yang begitu mengagumkan.
Inovasi Seni Bina
Model Phi adalah berdasarkan seni bina transformer, model pembelajaran mendalam yang telah merevolusikan pemprosesan bahasa semula jadi. Transformer cemerlang dalam menangkap pergantungan jarak jauh dalam teks, membolehkan model memahami konteks dan nuansa bahasa.
Mekanisme Perhatian: Teras seni bina transformer ialah mekanisme perhatian, yang membolehkan model untuk memberi tumpuan kepada bahagian input yang paling berkaitan semasa menjana output. Ini amat penting untuk tugas penaakulan, di mana model perlu mengenal pasti maklumat dan hubungan utama untuk mencapai kesimpulan yang betul.
Perhatian Dot-Product Berskala: Model Phi menggunakan perhatian dot-product berskala, versi halus bagi mekanisme perhatian yang merangkumi faktor penskalaan untuk menghalang produk titik daripada menjadi terlalu besar, yang boleh membawa kepada ketidakstabilan semasa latihan.
Perhatian Berbilang Kepala: Untuk menangkap aspek input yang berbeza, model Phi menggunakan perhatian berbilang kepala, di mana berbilang mekanisme perhatian beroperasi selari. Setiap kepala memberi tumpuan pada subset input yang berbeza, membolehkan model mempelajari perwakilan yang lebih kompleks.
Rangkaian Suapan-Hadapan: Selepas lapisan perhatian, seni bina transformer termasuk rangkaian suapan-hadapan yang memproses lagi maklumat tersebut. Rangkaian ini terdiri daripada berbilang lapisan neuron yang belajar untuk mengekstrak ciri daripada output perhatian.
Metodologi Latihan: Pendekatan Pelbagai Rupa
Latihan model Phi melibatkan gabungan teknik, termasuk penalaan halus diselia, pembelajaran pengukuhan dan penyulingan data.
Penalaan Halus Diselia (SFT): Penalaan halus diselia melibatkan latihan model pada set data berlabel, di mana input ialah soalan atau masalah, dan output ialah jawapan atau penyelesaian yang betul. Ini membantu model belajar mengaitkan input tertentu dengan output yang sepadan.
Pembelajaran Pengukuhan (RL): Pembelajaran pengukuhan ialah teknik di mana model belajar membuat keputusan dengan berinteraksi dengan persekitaran dan menerima ganjaran atau penalti untuk tindakannya. Dalam konteks model bahasa, persekitaran boleh menjadi satu set peraturan atau kekangan, dan ganjaran boleh berdasarkan ketepatan respons model.
Penyulingan Data: Penyulingan data ialah teknik di mana model yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar dan lebih kompleks. Ini membolehkan model yang lebih kecil mencapai prestasi yang setanding dengan model yang lebih besar, sambil memerlukan lebih sedikit sumber.
Penyusunan Data: Batu Penjuru Prestasi
Prestasi model Phi sangat bergantung pada kualiti data yang digunakan untuk latihan. Microsoft telah melabur usaha yang ketara dalam menyusun set data berkualiti tinggi yang direka khusus untuk tugas penaakulan.
Penjanaan Data Sintetik: Untuk menambah data yang tersedia, Microsoft telah membangunkan teknik untuk menjana data sintetik yang meniru ciri data dunia sebenar. Ini membolehkan model dilatih pada set data yang lebih besar dan lebih pelbagai, yang meningkatkan keupayaan generalisasi mereka.
Penapisan Data: Microsoft menggunakan teknik penapisan data yang ketat untuk mengalih keluar data bising atau tidak berkaitan daripada set data latihan. Ini memastikan bahawa model dilatih pada data yang bersih dan tepat, yang membawa kepada prestasi yang lebih baik.
Penambahan Data: Teknik penambahan data digunakan untuk meningkatkan kepelbagaian set data latihan dengan menggunakan transformasi pada data sedia ada. Ini membantu model menjadi lebih teguh terhadap variasi dalam input.
Teknik Pengoptimuman: Mengimbangi Kecekapan dan Ketepatan
Model Phi dioptimumkan untuk kedua-dua kecekapan dan ketepatan, membolehkannya berjalan pada peranti yang kekurangan sumber tanpa mengorbankan prestasi.
Kuantisasi: Kuantisasi ialah teknik di mana ketepatan parameter model dikurangkan, yang mengurangkan jejak memori dan keperluan pengiraan model.
Pemangkasan: Pemangkasan ialah teknik di mana sambungan yang kurang penting dalam model dialih keluar, yang mengurangkan saiz dan kerumitan model.
Penyulingan Pengetahuan: Penyulingan pengetahuan melibatkan pemindahan pengetahuan daripada model yang lebih besar dan lebih kompleks kepada model yang lebih kecil. Ini membolehkan model yang lebih kecil mencapai prestasi yang setanding dengan model yang lebih besar, sambil memerlukan lebih sedikit sumber.
Phi Silica NPU: Pendekatan Sinergistik Perkakasan-Perisian
Model Phi Microsoft direka untuk disepadukan rapat dengan Phi Silica NPU (Unit Pemprosesan Neural), pemecut perkakasan khusus yang dioptimumkan untuk beban kerja pembelajaran mendalam.
Pengoptimuman Bit Rendah: Phi Silica NPU menyokong pengoptimuman bit rendah, yang membolehkan model berjalan dengan ketepatan yang dikurangkan, seterusnya mengurangkan jejak memori dan keperluan pengiraan mereka.
Pramuat ke dalam Memori: Model Phi direka untuk dipramuat ke dalam memori, yang membolehkannya dipanggil dengan cepat dan cekap.
Pengurusan Sistem Pengoperasian: Phi Silica NPU diuruskan oleh sistem pengendalian, yang membolehkannya disepadukan dengan lancar ke dalam pengalaman pengguna.
Ringkasnya, model Phi Microsoft mewakili pencapaian yang ketara dalam bidang model bahasa kecil. Dengan menggabungkan reka bentuk seni bina yang inovatif, metodologi latihan yang ketat, penyusunan data yang teliti dan reka bentuk bersama perkakasan-perisian, Microsoft telah mencipta keluarga model yang berkuasa dan cekap, membolehkan pelbagai aplikasi berkuasakan AI.