ในภูมิทัศน์ทางเทคโนโลยีที่เปลี่ยนแปลงไปอย่างรวดเร็วในปัจจุบัน โมเดลภาษาขนาดใหญ่ (LLMs) ได้กลายเป็นเครื่องมือที่ทรงพลังสำหรับการประมวลผลภาษาธรรมชาติ อย่างไรก็ตาม การพึ่งพาข้อมูลการฝึกอบรมแบบคงที่ทำให้ความสามารถในการปรับตัวให้เข้ากับสถานการณ์จริงลดลง เนื่องจากอุตสาหกรรมต่างๆ ต้องการโซลูชัน AI ที่สามารถตัดสินใจได้อย่างมีข้อมูลมากขึ้น การบูรณาการเครื่องมือและ APIs ภายนอกจึงมีความสำคัญยิ่ง ความแม่นยำในการใช้เครื่องมือเหล่านี้มีความสำคัญอย่างยิ่งต่อการเพิ่มขีดความสามารถในการตัดสินใจและประสิทธิภาพการดำเนินงานของเอเจนต์อัตโนมัติ ซึ่งท้ายที่สุดเป็นการปูทางไปสู่การพัฒนาเวิร์กโฟลว์ของเอเจนต์ที่มีความซับซ้อน
บทความนี้เจาะลึกถึงแง่มุมทางเทคนิคของการเรียกใช้เครื่องมือโดยใช้โมเดล Amazon Nova ผ่าน Amazon Bedrock นอกจากนี้ ยังสำรวจวิธีการต่างๆ สำหรับการปรับแต่งโมเดลเหล่านี้เพื่อให้ได้ความแม่นยำในการใช้เครื่องมือที่มากขึ้น
ขยายขีดความสามารถของ LLM ด้วยการใช้เครื่องมือ
LLMs ได้แสดงให้เห็นถึงความสามารถที่โดดเด่นในงานภาษาธรรมชาติที่หลากหลาย อย่างไรก็ตาม ศักยภาพที่แท้จริงของพวกมันจะถูกปลดล็อกผ่านการบูรณาการอย่างราบรื่นกับเครื่องมือภายนอก เช่น APIs และเฟรมเวิร์กการคำนวณ เครื่องมือเหล่านี้ช่วยให้ LLMs สามารถเข้าถึงข้อมูลแบบเรียลไทม์ ดำเนินการคำนวณเฉพาะโดเมน และดึงข้อมูลที่แม่นยำ ซึ่งจะช่วยเพิ่มความน่าเชื่อถือและความอเนกประสงค์
พิจารณาการบูรณาการ API สภาพอากาศ ซึ่งช่วยให้ LLMs สามารถให้การพยากรณ์อากาศที่แม่นยำและเป็นปัจจุบันได้ ในทำนองเดียวกัน Wikipedia API สามารถติดตั้ง LLMs ด้วยความสามารถในการเข้าถึงคลังข้อมูลจำนวนมาก ช่วยให้พวกเขาสามารถตอบสนองต่อคำถามที่ซับซ้อนได้อย่างแม่นยำยิ่งขึ้น ในบริบททางวิทยาศาสตร์ เครื่องมือต่างๆ เช่น เครื่องคิดเลขและเอ็นจิ้นสัญลักษณ์ สามารถช่วยให้ LLMs เอาชนะความไม่ถูกต้องทางตัวเลข ทำให้พวกเขามีความน่าเชื่อถือมากขึ้นสำหรับการคำนวณที่ซับซ้อน
ด้วยการบูรณาการอย่างราบรื่นกับเครื่องมือเหล่านี้ LLMs จะพัฒนาไปสู่ระบบที่แข็งแกร่งและตระหนักถึงโดเมน ซึ่งสามารถจัดการงานแบบไดนามิกและเฉพาะทางได้อย่างมีประโยชน์ในโลกแห่งความเป็นจริง
Amazon Nova Models และ Amazon Bedrock
Amazon Nova models ซึ่งเปิดตัวที่ AWS re:Invent ในเดือนธันวาคม 2024 ได้รับการออกแบบมาเพื่อมอบความคุ้มค่าด้านราคาต่อประสิทธิภาพที่ยอดเยี่ยม โมเดลเหล่านี้มอบประสิทธิภาพที่ล้ำสมัยในเกณฑ์มาตรฐานการทำความเข้าใจข้อความที่สำคัญ ในขณะที่ยังคงรักษาความคุ้มค่า ซีรีส์นี้ประกอบด้วยสามรูปแบบ:
- Micro: โมเดลข้อความเท่านั้นที่ปรับให้เหมาะสมสำหรับการใช้งาน Edge โดยมอบประสิทธิภาพที่มีประสิทธิภาพเป็นพิเศษ
- Lite: โมเดลมัลติโมดอลที่สร้างสมดุลระหว่างความอเนกประสงค์และประสิทธิภาพ
- Pro: โมเดลมัลติโมดอลประสิทธิภาพสูงที่ออกแบบมาเพื่อจัดการกับงานที่ซับซ้อน
Amazon Nova models สามารถใช้สำหรับงานที่หลากหลาย รวมถึงการสร้างและการพัฒนาเวิร์กโฟลว์ของเอเจนต์ โมเดลเหล่านี้มีความสามารถในการโต้ตอบกับเครื่องมือหรือบริการภายนอกผ่านกระบวนการที่เรียกว่าการเรียกใช้เครื่องมือ ฟังก์ชันนี้สามารถเข้าถึงได้ผ่านคอนโซล Amazon Bedrock และ APIs เช่น Converse และ Invoke
นอกเหนือจากการใช้โมเดลที่ฝึกอบรมไว้ล่วงหน้าแล้ว นักพัฒนายังมีตัวเลือกในการปรับแต่งโมเดลเหล่านี้ด้วยข้อมูลมัลติโมดอล (Pro และ Lite) หรือข้อมูลข้อความ (Pro, Lite และ Micro) ความยืดหยุ่นนี้ช่วยให้นักพัฒนาสามารถบรรลุระดับความแม่นยำ เวลาแฝง และความคุ้มค่าที่ต้องการได้ นอกจากนี้ นักพัฒนายังสามารถใช้ประโยชน์จากคอนโซล Amazon Bedrock และ APIs เพื่อดำเนินการปรับแต่งแบบกำหนดเองด้วยตนเองและการกลั่นโมเดลขนาดใหญ่ให้เป็นโมเดลขนาดเล็ก
ภาพรวมโซลูชัน
โซลูชันนี้เกี่ยวข้องกับการเตรียมชุดข้อมูลแบบกำหนดเองที่ออกแบบมาโดยเฉพาะสำหรับการใช้เครื่องมือ จากนั้นชุดข้อมูลนี้จะใช้เพื่อประเมินประสิทธิภาพของ Amazon Nova models ผ่าน Amazon Bedrock โดยใช้ APIs Converse และ Invoke ต่อมา โมเดล AmazonNova Micro และ Amazon Nova Lite จะได้รับการปรับแต่งโดยใช้ชุดข้อมูลที่เตรียมไว้ผ่าน Amazon Bedrock เมื่อกระบวนการปรับแต่งเสร็จสมบูรณ์ โมเดลที่ปรับแต่งเหล่านี้จะได้รับการประเมินผ่านปริมาณงานที่จัดเตรียมไว้
เครื่องมือ
การใช้เครื่องมือใน LLMs ครอบคลุมถึงสองการดำเนินการที่จำเป็น: การเลือกเครื่องมือและการแยกหรือสร้างอาร์กิวเมนต์ ตัวอย่างเช่น พิจารณาเครื่องมือที่ออกแบบมาเพื่อดึงข้อมูลสภาพอากาศสำหรับสถานที่เฉพาะ เมื่อนำเสนอด้วยคำค้นหาเช่น “อากาศในลอนดอนเป็นอย่างไรบ้างตอนนี้” LLM จะประเมินเครื่องมือที่มีอยู่เพื่อพิจารณาว่ามีเครื่องมือที่เหมาะสมหรือไม่ หากพบเครื่องมือที่เหมาะสม โมเดลจะเลือกและแยกอาร์กิวเมนต์ที่จำเป็น เช่น “ลอนดอน” เพื่อสร้างการเรียกใช้เครื่องมือ
เครื่องมือแต่ละชิ้นได้รับการกำหนดไว้อย่างพิถีพิถันด้วยข้อกำหนดที่เป็นทางการ ซึ่งระบุถึงฟังก์ชันการทำงานที่ต้องการ อาร์กิวเมนต์บังคับและทางเลือก และประเภทข้อมูลที่เกี่ยวข้อง คำจำกัดความที่แม่นยำเหล่านี้ ซึ่งเรียกว่า tool config ทำให้มั่นใจได้ว่าการเรียกใช้เครื่องมือจะถูกดำเนินการอย่างถูกต้อง และการแยกวิเคราะห์อาร์กิวเมนต์สอดคล้องกับข้อกำหนดในการดำเนินงานของเครื่องมือ การปฏิบัติตามข้อกำหนดนี้ ชุดข้อมูลที่ใช้ในตัวอย่างนี้กำหนดเครื่องมือที่แตกต่างกันแปดเครื่องมือ โดยแต่ละเครื่องมือมีอาร์กิวเมนต์และการกำหนดค่าของตัวเอง ทั้งหมดนี้มีโครงสร้างในรูปแบบ JSON เครื่องมือทั้งแปดที่กำหนดไว้มีดังนี้:
- weather_api_call: เครื่องมือแบบกำหนดเองที่ออกแบบมาสำหรับการดึงข้อมูลสภาพอากาศ
- stat_pull: เครื่องมือแบบกำหนดเองสำหรับการระบุสถิติ
- text_to_sql: เครื่องมือแบบกำหนดเองสำหรับการแปลงข้อความเป็นคำสั่ง SQL
- terminal: เครื่องมือสำหรับเรียกใช้สคริปต์ภายในสภาพแวดล้อมเทอร์มินัล
- wikipedia: เครื่องมือ Wikipedia API สำหรับการค้นหาผ่านหน้า Wikipedia
- duckduckgo_results_json: เครื่องมือค้นหาทางอินเทอร์เน็ตที่ใช้ DuckDuckGo เพื่อทำการค้นหา
- youtube_search: เครื่องมือค้นหา YouTube API สำหรับการค้นหารายการวิดีโอ
- pubmed_search: เครื่องมือค้นหา PubMed สำหรับการค้นหาบทคัดย่อ PubMed
ชุดข้อมูล
ชุดข้อมูลที่ใช้ในโซลูชันนี้คือชุดข้อมูลการเรียกใช้เครื่องมือสังเคราะห์ ซึ่งสร้างขึ้นโดยความช่วยเหลือจาก Foundation Model (FM) จาก Amazon Bedrock และได้รับการตรวจสอบและปรับเปลี่ยนด้วยตนเองในภายหลัง ชุดข้อมูลนี้ได้รับการพัฒนาขึ้นสำหรับชุดเครื่องมือแปดเครื่องมือที่กล่าวถึงก่อนหน้านี้ โดยมีจุดมุ่งหมายเพื่อสร้างชุดคำถามและการเรียกใช้เครื่องมือที่หลากหลาย ซึ่งช่วยให้โมเดลอื่นสามารถเรียนรู้จากตัวอย่างเหล่านี้และสรุปผลไปยังการเรียกใช้เครื่องมือที่ไม่เคยเห็น
แต่ละรายการในชุดข้อมูลมีโครงสร้างเป็นออบเจ็กต์ JSON ที่มีคู่คีย์-ค่าที่กำหนดคำถาม (คำค้นหาของผู้ใช้ภาษาธรรมชาติสำหรับโมเดล) เครื่องมือ ground truth ที่จำเป็นในการตอบคำถามของผู้ใช้ อาร์กิวเมนต์ (พจนานุกรมที่มีพารามิเตอร์ที่จำเป็นในการเรียกใช้เครื่องมือ) และข้อจำกัดเพิ่มเติม เช่น order_matters: boolean ซึ่งระบุว่าลำดับของอาร์กิวเมนต์มีความสำคัญหรือไม่ และ arg_pattern: optional นิพจน์ทั่วไป (regex) สำหรับการตรวจสอบหรือจัดรูปแบบอาร์กิวเมนต์ ป้ายกำกับ ground truth เหล่านี้ใช้เพื่อควบคุมการฝึกอบรมโมเดล Amazon Nova ที่ได้รับการฝึกอบรมไว้ล่วงหน้า ปรับให้เข้ากับการใช้เครื่องมือ กระบวนการนี้ หรือที่เรียกว่า supervised fine-tuning จะได้รับการสำรวจเพิ่มเติมในส่วนต่อไปนี้
ชุดฝึกอบรมประกอบด้วยคำถาม 560 ข้อ ในขณะที่ชุดทดสอบมีคำถาม 120 ข้อ ชุดทดสอบมีโครงสร้างให้มีคำถาม 15 ข้อต่อหมวดหมู่เครื่องมือ รวมเป็น 120 คำถาม
การเตรียมชุดข้อมูลสำหรับ Amazon Nova
เพื่อให้ใช้ชุดข้อมูลนี้กับโมเดล Amazon Nova ได้อย่างมีประสิทธิภาพ จำเป็นต้องจัดรูปแบบข้อมูลตามเทมเพลตการแชทที่เฉพาะเจาะจง การเรียกใช้เครื่องมือแบบเนทีฟรวมถึงเลเยอร์การแปลที่จัดรูปแบบอินพุตเป็นรูปแบบที่เหมาะสมก่อนที่จะส่งต่อไปยังโมเดล ในโซลูชันนี้ วิธีการใช้เครื่องมือ DIY ถูกนำมาใช้ โดยใช้เทมเพลต Prompt แบบกำหนดเอง โดยเฉพาะอย่างยิ่ง System Prompt ข้อความผู้ใช้ที่ฝังด้วย tool config และป้ายกำกับ ground truth ต้องถูกเพิ่มเป็นข้อความผู้ช่วย
การอัปโหลดชุดข้อมูลไปยัง Amazon S3
ขั้นตอนนี้มีความสำคัญอย่างยิ่งในการทำให้ Amazon Bedrock สามารถเข้าถึงข้อมูลการฝึกอบรมในระหว่างกระบวนการปรับแต่ง ชุดข้อมูลสามารถอัปโหลดได้ผ่านคอนโซล Amazon Simple Storage Service (Amazon S3) หรือโดยทางโปรแกรม
การเรียกใช้เครื่องมือด้วยโมเดลพื้นฐานผ่าน Amazon Bedrock API
เมื่อสร้างและจัดรูปแบบชุดข้อมูลการใช้เครื่องมือตามที่ต้องการแล้ว สามารถใช้เพื่อทดสอบโมเดล Amazon Nova ได้ ทั้ง APIs Converse และ Invoke สามารถใช้สำหรับการใช้เครื่องมือใน Amazon Bedrock API Converse ช่วยให้สามารถสนทนาแบบไดนามิกที่คำนึงถึงบริบท ทำให้โมเดลสามารถมีส่วนร่วมในการสนทนาหลายรอบ ในขณะที่ API Invoke ช่วยให้ผู้ใช้สามารถเรียกและโต้ตอบกับโมเดลพื้นฐานภายใน Amazon Bedrock
ในการใช้ API Converse ข้อความ system prompt (ถ้ามี) และ tool config จะถูกส่งตรงไปยัง API
ในการแยกวิเคราะห์เครื่องมือและอาร์กิวเมนต์จาก Response ของ LLM ให้พิจารณาคำถาม: “ตอนนี้อุณหภูมิในปารีสเท่าไหร่” เอาต์พุตจะถูกแยกวิเคราะห์เพื่อระบุเครื่องมือและอาร์กิวเมนต์ที่จำเป็นในการตอบคำถาม
การปรับแต่ง Amazon Nova Models เพื่อเพิ่มประสิทธิภาพการใช้เครื่องมือ
การปรับแต่งเป็นขั้นตอนสำคัญในการปรับโมเดลภาษาที่ฝึกอบรมไว้ล่วงหน้า เช่น Amazon Nova ให้เข้ากับงานที่เฉพาะเจาะจง ด้วยการฝึกอบรมโมเดลบนชุดข้อมูลที่ปรับให้เหมาะกับแอปพลิเคชันที่ต้องการ โมเดลสามารถเรียนรู้ที่จะทำงานให้สำเร็จด้วยความแม่นยำและประสิทธิภาพที่มากขึ้น ในบริบทของการใช้เครื่องมือ การปรับแต่งสามารถปรับปรุงความสามารถของโมเดลในการเลือกเครื่องมือที่เหมาะสมและแยกอาร์กิวเมนต์ที่ถูกต้องได้อย่างมาก
กระบวนการปรับแต่งเกี่ยวข้องกับการปรับพารามิเตอร์ภายในของโมเดลเพื่อลดความแตกต่างระหว่างการคาดการณ์และป้ายกำกับ ground truth ในชุดข้อมูลการฝึกอบรม โดยทั่วไปจะทำได้ผ่านกระบวนการวนซ้ำ โดยที่โมเดลจะสัมผัสกับข้อมูลการฝึกอบรมซ้ำๆ และพารามิเตอร์จะถูกปรับตามข้อผิดพลาดที่สังเกตได้
การเตรียมชุดข้อมูลสำหรับการปรับแต่ง
ชุดข้อมูลสำหรับการปรับแต่งควรได้รับการดูแลอย่างระมัดระวังเพื่อสะท้อนถึงประเภทของคำถามและการเรียกใช้เครื่องมือที่โมเดลคาดว่าจะจัดการในสถานการณ์จริง ชุดข้อมูลควรรวมถึงตัวอย่างที่หลากหลาย ครอบคลุมหมวดหมู่เครื่องมือและรูปแบบอาร์กิวเมนต์ที่แตกต่างกัน
แต่ละตัวอย่างในชุดข้อมูลควรถือว่าเป็นคำถาม เครื่องมือที่สอดคล้องกันที่จะเรียกใช้ และอาร์กิวเมนต์ที่จำเป็นในการเรียกใช้เครื่องมือ อาร์กิวเมนต์ควรจัดรูปแบบในลักษณะที่มีโครงสร้าง โดยทั่วไปคือเป็นออบเจ็กต์ JSON
กระบวนการปรับแต่ง
กระบวนการปรับแต่งสามารถทำได้โดยใช้คอนโซล Amazon Bedrock หรือ APIs กระบวนการนี้เกี่ยวข้องกับการระบุโมเดลที่จะปรับแต่ง ชุดข้อมูลสำหรับการปรับแต่ง และพารามิเตอร์การฝึกอบรมที่ต้องการ
พารามิเตอร์การฝึกอบรมควบคุมแง่มุมต่างๆ ของกระบวนการปรับแต่ง เช่น อัตราการเรียนรู้ ขนาดแบตช์ และจำนวน Epoch อัตราการเรียนรู้จะกำหนดขนาดของการปรับพารามิเตอร์ที่ทำในแต่ละการวนซ้ำ ขนาดแบตช์จะกำหนดจำนวนตัวอย่างที่ประมวลผลในแต่ละการวนซ้ำ จำนวน Epoch จะกำหนดจำนวนครั้งที่โมเดลสัมผัสกับชุดข้อมูลการฝึกอบรมทั้งหมด
การประเมินโมเดลที่ปรับแต่งแล้ว
หลังจากกระบวนการปรับแต่งเสร็จสมบูรณ์ การประเมินประสิทธิภาพของโมเดลที่ปรับแต่งแล้วเป็นสิ่งสำคัญ สิ่งนี้สามารถทำได้โดยการทดสอบโมเดลบนชุดข้อมูลทดสอบแยกต่างหากที่ไม่ได้ใช้ในระหว่างกระบวนการปรับแต่ง
ชุดข้อมูลทดสอบควรเป็นตัวแทนของประเภทของคำถามและการเรียกใช้เครื่องมือที่โมเดลคาดว่าจะจัดการในสถานการณ์จริง ประสิทธิภาพของโมเดลสามารถประเมินได้โดยการวัดเมตริกต่างๆ เช่น ความแม่นยำ ความแม่นยำ การเรียกคืน และคะแนน F1
ประโยชน์ของการปรับแต่ง Amazon Nova Models สำหรับการใช้เครื่องมือ
การปรับแต่ง Amazon Nova models สำหรับการใช้เครื่องมือมีประโยชน์หลายประการ:
- ความแม่นยำที่ได้รับการปรับปรุง: การปรับแต่งโมเดลบนชุดข้อมูลเฉพาะงานสามารถปรับปรุงความแม่นยำในการเลือกเครื่องมือและการแยกอาร์กิวเมนต์ได้อย่างมาก
- ประสิทธิภาพที่เพิ่มขึ้น: โมเดลที่ปรับแต่งแล้วมักจะสามารถทำงานเกี่ยวกับการใช้เครื่องมือได้อย่างมีประสิทธิภาพมากกว่าโมเดลที่ฝึกอบรมไว้ล่วงหน้า
- ความสามารถในการปรับตัวที่เพิ่มขึ้น: การปรับแต่งช่วยให้โมเดลสามารถปรับให้เข้ากับโดเมนและกรณีการใช้งานที่เฉพาะเจาะจงได้
- ลดค่าใช้จ่าย: ในบางกรณี การปรับแต่งสามารถลดทรัพยากรการคำนวณที่จำเป็นในการทำงานเกี่ยวกับการใช้เครื่องมือได้
สรุป
การปรับแต่ง Amazon Nova models สำหรับการใช้เครื่องมือเป็นเทคนิคที่มีค่าสำหรับการเพิ่มประสิทธิภาพและความสามารถในการปรับตัวของ LLMs ด้วยการปรับแต่งโมเดลบนชุดข้อมูลเฉพาะงาน นักพัฒนาสามารถปรับปรุงความแม่นยำ ประสิทธิภาพ และความสามารถในการปรับตัวของแอปพลิเคชันการใช้เครื่องมือได้อย่างมาก เนื่องจากอุตสาหกรรมต่างๆ ต้องการโซลูชัน AI ที่สามารถตัดสินใจได้อย่างมีข้อมูลมากขึ้น การปรับแต่ง LLMs สำหรับการใช้เครื่องมือจะมีความสำคัญมากขึ้นเรื่อยๆ