Pendekatan Baharu Microsoft untuk LLM Berpengetahuan

Seni Bina Baharu untuk Integrasi Pengetahuan

Bahagian penyelidikan Microsoft telah mempelopori kaedah terobosan untuk menyepadukan pengetahuan luaran ke dalam model bahasa besar (LLM). Sistem inovatif ini, yang digelar Knowledge Base-Augmented Language Models (KBLaM), menggunakan falsafah ‘plug-and-play’, menghapuskan keperluan untuk mengubah model sedia ada. Ini merupakan satu perubahan ketara daripada teknik konvensional, menawarkan pendekatan yang lebih lancar dan cekap untuk peningkatan pengetahuan.

Menyimpang daripada Kaedah Tradisional

Metodologi semasa, seperti Retrieval-Augmented Generation (RAG) dan In-Context Learning, biasanya bergantung pada mekanisme perolehan semula yang berasingan untuk mengakses dan menggabungkan maklumat luaran. KBLaM, sebaliknya, mengelakkan sistem luaran ini. Ia dengan bijak mengubah pengetahuan kepada pasangan vektor, dengan lancar menjalinnya ke dalam seni bina teras model melalui teknik baharu yang dipanggil Microsoft sebagai ‘rectangular attention’.

Penyepaduan langsung pengetahuan dalam model itu sendiri, memintas proses perolehan semula luaran, menghasilkan tindak balas yang jauh lebih pantas dan cekap. Ini adalah kelebihan utama berbanding sistem tradisional, yang sering mengalami kependaman dan overhed pengiraan disebabkan oleh keperluan untuk menanyakan pangkalan data luaran.

Menangani Masalah Penskalaan Kuadratik

Sistem RAG sedia ada sering dihalang oleh masalah penskalaan kuadratik, akibat yang wujud daripada mekanisme perhatian kendiri mereka. Mekanisme ini memerlukan setiap token berinteraksi dengan setiap token lain, yang membawa kepada peningkatan eksponen dalam permintaan pengiraan apabila saiz input berkembang.

Untuk menggambarkan, pertimbangkan senario di mana 1,000 token daripada pangkalan pengetahuan diperkenalkan ke dalam konteks. Model itu kemudiannya terpaksa memproses satu juta pasangan token yang mengejutkan. Jika bilangan token meningkat kepada 10,000, beban pengiraan meletup kepada 100 juta interaksi. Penskalaan kuadratik ini dengan cepat menjadi kesesakan, mengehadkan kebolehgunaan praktikal sistem RAG dengan pangkalan pengetahuan yang besar.

Kecekapan ‘Rectangular Attention’

KBLaM dengan elegan memintas masalah pengiraan ini. Mekanisme ‘rectangular attention’ yang inovatif membolehkan input pengguna mengakses semua token pengetahuan, tetapi yang penting, token pengetahuan ini tidak berinteraksi antara satu sama lain atau input. Pilihan reka bentuk strategik ini mempunyai implikasi yang mendalam untuk kebolehskalaan.

Apabila pangkalan pengetahuan berkembang, kuasa pengiraan yang diperlukan hanya meningkat secara linear, berbeza dengan penskalaan kuadratik kaedah tradisional. Penyelidik di sebalik KBLaM menegaskan bahawa satu GPU boleh mengendalikan lebih 10,000 ‘knowledge triples’ dengan selesa, diterjemahkan kepada kira-kira 200,000 token. Ini merupakan satu lonjakan ketara ke hadapan dalam kecekapan integrasi pengetahuan.

Keputusan Eksperimen yang Menjanjikan

Ujian awal KBLaM telah membuahkan hasil yang menggalakkan. Dalam eksperimen yang melibatkan kira-kira 200 item pengetahuan, KBLaM menunjukkan keupayaan unggul untuk mengurangkan halusinasi – penjanaan maklumat palsu atau tidak masuk akal – berbanding model konvensional.

Tambahan pula, KBLaM mempamerkan kecenderungan yang lebih besar untuk mengelak daripada menjawab soalan yang tidak mempunyai maklumat yang mencukupi. ‘Epistemic humility’ ini adalah sifat yang diingini dalam LLM, kerana ia menggalakkan ketepatan dan kebolehpercayaan.

Satu lagi kelebihan ketara KBLaM ialah ketelusannya yang dipertingkatkan. Tidak seperti pembelajaran dalam konteks, KBLaM boleh memautkan elemen pengetahuan khusus kepada token yang sepadan dengan mudah, memberikan pandangan yang lebih mendalam tentang proses penaakulan model.

Ketersediaan Sumber Terbuka dan Hala Tuju Masa Depan

Kod dan set data yang menyokong KBLaM telah disediakan secara terbuka di GitHub, memupuk kerjasama dan penyelidikan lanjut dalam komuniti. Sistem ini direka bentuk untuk serasi dengan beberapa model yang digunakan secara meluas, termasuk Llama 3 Meta dan Phi-3 Microsoft sendiri. Terdapat juga rancangan untuk melanjutkan sokongan kepada Hugging Face Transformers, platform popular untuk membina dan menggunakan LLM.

Walaupun keputusan awal adalah memberangsangkan, para penyelidik menekankan bahawa KBLaM belum bersedia untuk penggunaan secara meluas. Ia cemerlang dalam mengendalikan senario soal jawab yang mudah, tetapi pembangunan selanjutnya diperlukan untuk menangani tugas penaakulan yang lebih kompleks.

Paradoks Tetingkap Konteks dan Kebangkitan RAG

LLM menghadapi paradoks yang menarik: tetingkap konteks mereka – jumlah maklumat yang boleh mereka proses sekaligus – sentiasa berkembang, namun memproses jumlah data yang semakin meningkat ini dengan pasti kekal sebagai cabaran yang menggerunkan.

Cabaran ini telah mendorong Retrieval-Augmented Generation (RAG) ke barisan hadapan sebagai penyelesaian pilihan untuk menyuntik maklumat khusus ke dalam model dengan tahap kebolehpercayaan yang munasabah. Sistem RAG bertindak sebagai perantara, mendapatkan semula maklumat yang berkaitan daripada sumber luaran dan menyuapkannya ke dalam LLM, dengan itu meningkatkan pengetahuan dan ketepatannya.

KBLaM: Anjakan Paradigma Berpotensi

Walau bagaimanapun, KBLaM membentangkan alternatif yang menarik, mencadangkan laluan ke hadapan yang berpotensi lebih cekap dan elegan. Dengan menyepadukan pengetahuan secara langsung ke dalam seni bina model, KBLaM menawarkan prospek LLM yang dipertingkatkan dengan pengetahuan yang lebih pantas, lebih berskala dan lebih telus.

Menyelidiki Lebih Dalam Mekanik KBLaM

Inovasi teras KBLaM terletak pada mekanisme ‘rectangular attention’. Untuk memahami perkara ini, adalah berguna untuk mempertimbangkan terlebih dahulu mekanisme perhatian kendiri standard yang digunakan oleh banyak LLM.

Dalam perhatian kendiri, setiap token dalam jujukan input memberi perhatian kepada setiap token lain, termasuk dirinya sendiri. Ini membolehkan model untuk menangkap hubungan antara bahagian input yang berbeza, tetapi ia juga membawa kepada masalah penskalaan kuadratik yang dinyatakan sebelum ini.

‘Rectangular attention’, sebaliknya, membahagikan proses perhatian kepada dua bahagian yang berbeza:

1. User Input Attention: Input pengguna memberi perhatian kepada semua token pengetahuan, membolehkan model mengakses maklumat yang berkaitan daripada pangkalan pengetahuan.
2. Knowledge Token Attention: Token pengetahuan tidak memberi perhatian kepada satu sama lain atau input pengguna. Ini adalah kunci kepada kecekapan KBLaM.

Dengan menghalang interaksi antara token pengetahuan, KBLaM secara drastik mengurangkan bilangan pengiraan yang diperlukan. Ini membolehkan model untuk berskala secara linear dengan saiz pangkalan pengetahuan, menjadikannya boleh dilaksanakan untuk menggabungkan sejumlah besar maklumat luaran.

Faedah Integrasi Pengetahuan Langsung

Integrasi langsung pengetahuan ke dalam seni bina model menawarkan beberapa kelebihan:

• Reduced Latency: Oleh kerana KBLaM tidak bergantung pada sistem perolehan semula luaran, ia boleh bertindak balas lebih pantas daripada model berasaskan RAG.
• Improved Efficiency: Penskalaan linear KBLaM menjadikannya jauh lebih cekap dari segi pengiraan daripada kaedah tradisional.
• Enhanced Transparency: KBLaM boleh memautkan pengetahuan kepada token tertentu, menjadikannya lebih mudah untuk memahami cara model mencapai jawapannya.
• Reduced Hallucinations: KBLaM telah menunjukkan keupayaan yang lebih besar untuk mengelakkan penjanaan maklumat palsu atau tidak masuk akal.

Batasan dan Penyelidikan Masa Depan

Walaupun KBLaM mewakili kemajuan yang ketara, adalah penting untuk mengakui batasannya sekarang:

• Complex Reasoning: KBLaM pada masa ini paling sesuai untuk tugas soal jawab yang mudah. Lebih banyak penyelidikan diperlukan untuk meluaskan keupayaannya kepada senario penaakulan yang lebih kompleks.
• Knowledge Representation: Pelaksanaan semasa KBLaM menggunakan ‘knowledge triples’, yang mungkin tidak sesuai untuk semua jenis pengetahuan. Meneroka format perwakilan pengetahuan alternatif ialah bidang untuk kerja masa hadapan.
• Real-World Deployment: KBLaM masih merupakan projek penyelidikan dan belum bersedia untuk penggunaan secara meluas. Ujian dan penghalusan selanjutnya diperlukan sebelum ia boleh digunakan dalam aplikasi dunia sebenar.

Kesan yang Lebih Luas pada Bidang AI

Pembangunan KBLaM mempunyai implikasi yang ketara untuk bidang Kepintaran Buatan yang lebih luas. Ia mewakili satu langkah ke arah mencipta LLM yang bukan sahaja berkuasa tetapi juga:

• More Knowledgeable: Dengan menyepadukan sejumlah besar pengetahuan luaran dengan cekap, KBLaM boleh meningkatkan ketepatan fakta dan pemahaman LLM.
• More Reliable: Kadar halusinasi yang berkurangan dan peningkatan ketelusan KBLaM menyumbang kepada kebolehpercayaan dan kebolehpercayaan yang lebih besar.
• More Scalable: Penskalaan linear KBLaM membuka kemungkinan untuk membina LLM yang boleh mengendalikan sejumlah besar maklumat.

Penyelidikan dan pembangunan berterusan KBLaM dan pendekatan yang serupa menjanjikan untuk mengaburkan lagi garis antara LLM dan pangkalan pengetahuan, membuka jalan kepada generasi baharu sistem AI yang bijak dan berpengetahuan luas. Sifat sumber terbuka projek menggalakkan kerjasama dan mempercepatkan kadar inovasi dalam bidang yang menarik ini.