Dalam lanskap teknologi yang berkembang pesat saat ini, model bahasa besar (LLM) telah muncul sebagai alat yang ampuh untuk pemrosesan bahasa alami. Namun, ketergantungan mereka pada data pelatihan statis membatasi kemampuan mereka untuk beradaptasi dengan skenario dunia nyata. Seiring industri semakin menuntut solusi AI yang mampu membuat keputusan berdasarkan informasi, integrasi alat dan API eksternal menjadi yang terpenting. Ketepatan dengan mana alat-alat ini digunakan sangat penting untuk meningkatkan kemampuan pengambilan keputusan dan efisiensi operasional agen otonom, yang pada akhirnya membuka jalan bagi pengembangan alur kerja agentic yang canggih.
Artikel ini membahas aspek teknis dari tool calling menggunakan model Amazon Nova melalui Amazon Bedrock. Selanjutnya, artikel ini mengeksplorasi berbagai metode untuk menyesuaikan model ini untuk mencapai akurasi yang lebih besar dalam pemanfaatan alat.
Memperluas Kemampuan LLM dengan Penggunaan Alat
LLM telah menunjukkan kemahiran yang luar biasa dalam berbagai tugas bahasa alami. Namun, potensi sebenarnya dibuka melalui integrasi tanpa batas dengan alat eksternal seperti API dan kerangka kerja komputasi. Alat-alat ini memberdayakan LLM dengan kemampuan untuk mengakses data waktu nyata, melakukan perhitungan khusus domain, dan mengambil informasi yang tepat, sehingga meningkatkan keandalan dan fleksibilitasnya.
Pertimbangkan integrasi API cuaca, yang memungkinkan LLM untuk memberikan perkiraan cuaca yang akurat dan terkini. Demikian pula, API Wikipedia dapat membekali LLM dengan kemampuan untuk mengakses repositori informasi yang luas, memungkinkan mereka untuk menanggapi pertanyaan kompleks dengan akurasi yang lebih besar. Dalam konteks ilmiah, alat seperti kalkulator dan mesin simbolik dapat membantu LLM mengatasi ketidakakuratan numerik, menjadikannya lebih andal untuk perhitungan kompleks.
Dengan berintegrasi secara mulus dengan alat-alat ini, LLM berevolusi menjadi sistem yang kuat dan sadar domain yang mampu menangani tugas-tugas dinamis dan khusus dengan utilitas dunia nyata.
Model Amazon Nova dan Amazon Bedrock
Model Amazon Nova, yang diperkenalkan di AWS re:Invent pada Desember 2024, dirancang untuk memberikan nilai harga-kinerja yang luar biasa. Model-model ini menawarkan kinerja canggih pada tolok ukur pemahaman teks utama sambil mempertahankan efektivitas biaya. Seri ini terdiri dari tiga varian:
- Mikro: Model khusus teks yang dioptimalkan untuk penggunaan edge, menawarkan kinerja ultra-efisien.
- Lite: Model multimodal yang mencapai keseimbangan antara fleksibilitas dan kinerja.
- Pro: Model multimodal berkinerja tinggi yang dirancang untuk mengatasi tugas-tugas kompleks.
Model Amazon Nova dapat digunakan untuk berbagai tugas, termasuk pembuatan dan pengembangan alur kerja agentic. Model-model ini memiliki kemampuan untuk berinteraksi dengan alat atau layanan eksternal melalui proses yang dikenal sebagai tool calling. Fungsionalitas ini dapat diakses melalui konsol Amazon Bedrock dan API seperti Converse dan Invoke.
Selain memanfaatkan model yang telah dilatih sebelumnya, pengembang memiliki opsi untuk menyempurnakan model ini dengan data multimodal (Pro dan Lite) atau data teks (Pro, Lite, dan Micro). Fleksibilitas ini memungkinkan pengembang untuk mencapai tingkat akurasi, latensi, dan efektivitas biaya yang diinginkan. Selain itu, pengembang dapat memanfaatkan konsol Amazon Bedrock dan API untuk melakukan fine-tuning khusus layanan mandiri dan distilasi model yang lebih besar menjadi model yang lebih kecil.
Ikhtisar Solusi
Solusinya melibatkan persiapan dataset khusus yang dirancang khusus untuk penggunaan alat. Dataset ini kemudian digunakan untuk mengevaluasi kinerja model Amazon Nova melalui Amazon Bedrock, dengan memanfaatkan API Converse dan Invoke. Selanjutnya, model AmazonNova Micro dan Amazon Nova Lite disempurnakan menggunakan dataset yang disiapkan melalui Amazon Bedrock. Setelah menyelesaikan proses fine-tuning, model yang disesuaikan ini dievaluasi melalui throughput yang disediakan.
Alat
Penggunaan alat dalam LLM mencakup dua operasi penting: pemilihan alat dan ekstraksi atau pembuatan argumen. Misalnya, pertimbangkan alat yang dirancang untuk mengambil informasi cuaca untuk lokasi tertentu. Ketika disajikan dengan pertanyaan seperti, “Bagaimana cuaca di London saat ini?”, LLM menilai alat yang tersedia untuk menentukan apakah ada alat yang sesuai. Jika alat yang sesuai diidentifikasi, model memilihnya dan mengekstrak argumen yang diperlukan – dalam hal ini, “London” – untuk membangun tool call.
Setiap alat didefinisikan dengan cermat dengan spesifikasi formal yang menguraikan fungsionalitas yang dimaksudkan, argumen wajib dan opsional, dan tipe data terkait. Definisi yang tepat ini, yang disebut tool config, memastikan bahwa tool call dieksekusi dengan benar dan bahwa penguraian argumen selaras dengan persyaratan operasional alat. Mematuhi persyaratan ini, dataset yang digunakan dalam contoh ini mendefinisikan delapan alat berbeda, masing-masing dengan argumen dan konfigurasinya sendiri, semuanya terstruktur dalam format JSON. Delapan alat yang didefinisikan adalah sebagai berikut:
- weather_api_call: Alat khusus yang dirancang untuk mengambil informasi cuaca.
- stat_pull: Alat khusus untuk mengidentifikasi statistik.
- text_to_sql: Alat khusus untuk mengonversi teks menjadi query SQL.
- terminal: Alat untuk menjalankan skrip dalam lingkungan terminal.
- wikipedia: Alat API Wikipedia untuk mencari melalui halaman Wikipedia.
- duckduckgo_results_json: Alat pencarian internet yang memanfaatkan DuckDuckGo untuk melakukan pencarian.
- youtube_search: Alat pencarian API YouTube untuk mencari daftar video.
- pubmed_search: Alat pencarian PubMed untuk mencari abstrak PubMed.
Dataset
Dataset yang digunakan dalam solusi ini adalah dataset tool calling sintetis, yang dibuat dengan bantuan model fondasi (FM) dari Amazon Bedrock dan selanjutnya divalidasi dan disesuaikan secara manual. Dataset ini dikembangkan untuk set delapan alat yang dibahas sebelumnya, dengan tujuan menghasilkan koleksi pertanyaan dan pemanggilan alat yang beragam yang memungkinkan model lain untuk belajar dari contoh-contoh ini dan melakukan generalisasi ke pemanggilan alat yang tidak terlihat.
Setiap entri dalam dataset distrukturkan sebagai objek JSON, yang berisi pasangan kunci-nilai yang mendefinisikan pertanyaan (query pengguna bahasa alami untuk model), alat ground truth yang diperlukan untuk menjawab query pengguna, argumennya (kamus yang berisi parameter yang diperlukan untuk menjalankan alat), dan batasan tambahan seperti order_matters: boolean, yang menunjukkan apakah urutan argumen penting, dan arg_pattern: optional, ekspresi reguler (regex) untuk validasi atau pemformatan argumen. Label ground truth ini digunakan untuk mengawasi pelatihan model Amazon Nova yang telah dilatih sebelumnya, mengadaptasinya untuk penggunaan alat. Proses ini, yang dikenal sebagai supervised fine-tuning, dieksplorasi lebih lanjut di bagian berikut.
Set pelatihan terdiri dari 560 pertanyaan, sedangkan set pengujian berisi 120 pertanyaan. Set pengujian distrukturkan untuk memasukkan 15 pertanyaan per kategori alat, dengan total 120 pertanyaan.
Menyiapkan Dataset untuk Amazon Nova
Untuk secara efektif memanfaatkan dataset ini dengan model Amazon Nova, perlu untuk memformat data sesuai dengan templat obrolan tertentu. Tool calling asli menggabungkan lapisan terjemahan yang memformat input ke dalam format yang sesuai sebelum meneruskannya ke model. Dalam solusi ini, pendekatan penggunaan alat DIY diadopsi, dengan menggunakan templat prompt khusus. Secara khusus, prompt sistem, pesan pengguna yang disematkan dengan tool config, dan label ground truth harus ditambahkan sebagai pesan asisten.
Mengunggah Dataset ke Amazon S3
Langkah ini penting untuk memungkinkan Amazon Bedrock mengakses data pelatihan selama proses fine-tuning. Dataset dapat diunggah melalui konsol Amazon Simple Storage Service (Amazon S3) atau secara terprogram.
Tool Calling dengan Model Dasar Melalui Amazon Bedrock API
Dengan dataset penggunaan alat yang dibuat dan diformat seperti yang dipersyaratkan, dataset tersebut dapat digunakan untuk menguji model Amazon Nova. Baik API Converse maupun Invoke dapat digunakan untuk penggunaan alat di Amazon Bedrock. API Converse memungkinkan percakapan dinamis dan sadar konteks, memungkinkan model untuk terlibat dalam dialog multi-giliran, sementara API Invoke memungkinkan pengguna untuk memanggil dan berinteraksi dengan model dasar dalam Amazon Bedrock.
Untuk menggunakan API Converse, pesan, prompt sistem (jika ada), dan tool config dikirim langsung ke API.
Untuk mengurai alat dan argumen dari respons LLM, pertimbangkan pertanyaan: “Hai, berapa suhu di Paris saat ini?”. Output akan diurai untuk mengidentifikasi alat dan argumen yang diperlukan untuk menjawab pertanyaan tersebut.
Fine-tuning Model Amazon Nova untuk Peningkatan Penggunaan Alat
Fine-tuning adalah langkah penting dalam mengadaptasi model bahasa yang telah dilatih sebelumnya seperti Amazon Nova ke tugas-tugas tertentu. Dengan melatih model pada dataset yang disesuaikan dengan aplikasi yang diinginkan, model dapat belajar untuk melakukan tugas dengan akurasi dan efisiensi yang lebih besar. Dalam konteks penggunaan alat, fine-tuning dapat secara signifikan meningkatkan kemampuan model untuk memilih alat yang sesuai dan mengekstrak argumen yang benar.
Proses fine-tuning melibatkan penyesuaian parameter internal model untuk meminimalkan perbedaan antara prediksinya dan label ground truth dalam dataset pelatihan. Hal ini biasanya dicapai melalui proses iteratif, di mana model berulang kali terpapar ke data pelatihan dan parameternya disesuaikan berdasarkan kesalahan yang diamati.
Menyiapkan Dataset Fine-tuning
Dataset fine-tuning harus dikuratori dengan hati-hati untuk mencerminkan jenis pertanyaan dan pemanggilan alat yang diharapkan untuk ditangani oleh model dalam skenario dunia nyata. Dataset harus menyertakan berbagai contoh, yang mencakup kategori alat dan pola argumen yang berbeda.
Setiap contoh dalam dataset harus terdiri dari pertanyaan, alat yang sesuai untuk dipanggil, dan argumen yang diperlukan untuk menjalankan alat. Argumen harus diformat secara terstruktur, biasanya sebagai objek JSON.
Proses Fine-tuning
Proses fine-tuning dapat dilakukan menggunakan konsol atau API Amazon Bedrock. Proses ini melibatkan penentuan model yang akan disempurnakan, dataset fine-tuning, dan parameter pelatihan yang diinginkan.
Parameter pelatihan mengontrol berbagai aspek dari proses fine-tuning, seperti laju pembelajaran, ukuran batch, dan jumlah epoch. Laju pembelajaran menentukan besarnya penyesuaian parameter yang dilakukan selama setiap iterasi. Ukuran batch menentukan jumlah contoh yang diproses dalam setiap iterasi. Jumlah epoch menentukan berapa kali model terpapar ke seluruh dataset pelatihan.
Mengevaluasi Model yang Disempurnakan
Setelah proses fine-tuning selesai, penting untuk mengevaluasi kinerja model yang disempurnakan. Hal ini dapat dilakukan dengan menguji model pada dataset pengujian terpisah yang tidak digunakan selama proses fine-tuning.
Dataset pengujian harus mewakili jenis pertanyaan dan pemanggilan alat yang diharapkan untuk ditangani oleh model dalam skenario dunia nyata. Kinerja model dapat dievaluasi dengan mengukur metrik seperti akurasi, presisi, recall, dan skor F1.
Manfaat Menyesuaikan Model Amazon Nova untuk Penggunaan Alat
Menyesuaikan model Amazon Nova untuk penggunaan alat menawarkan beberapa manfaat:
- Peningkatan Akurasi: Fine-tuning model pada dataset khusus tugas dapat secara signifikan meningkatkan akurasi pemilihan alat dan ekstraksi argumen.
- Peningkatan Efisiensi: Model yang disempurnakan sering kali dapat melakukan tugas penggunaan alat lebih efisien daripada model yang telah dilatih sebelumnya.
- Peningkatan Kemampuan Beradaptasi: Fine-tuning memungkinkan model untuk beradaptasi dengan domain dan kasus penggunaan tertentu.
- Pengurangan Biaya: Dalam beberapa kasus, fine-tuning dapat mengurangi sumber daya komputasi yang diperlukan untuk melakukan tugas penggunaan alat.
Kesimpulan
Menyesuaikan model Amazon Nova untuk penggunaan alat adalah teknik yang berharga untuk meningkatkan kinerja dan kemampuan beradaptasi LLM. Dengan menyempurnakan model pada dataset khusus tugas, pengembang dapat secara signifikan meningkatkan akurasi, efisiensi, dan kemampuan beradaptasi aplikasi penggunaan alat. Seiring industri semakin menuntut solusi AI yang mampu membuat keputusan berdasarkan informasi, penyesuaian LLM untuk penggunaan alat akan menjadi semakin penting.