IBM ได้ประกาศเปิดตัว Granite 4.0 Tiny ซึ่งเป็นรุ่นที่มีขนาดเล็กที่สุดในซีรีส์ Granite 4.0 ที่กำลังจะมาถึง โมเดลนี้เผยแพร่ภายใต้ Apache 2.0 license ซึ่งเป็นใบอนุญาตที่อนุญาตให้ใช้งานได้อย่างอิสระ ได้รับการออกแบบมาอย่างพิถีพิถันสำหรับการประมวลผลบริบทที่ยาวนานและการใช้งานที่ขับเคลื่อนด้วยคำสั่ง โดยสร้างสมดุลระหว่างประสิทธิภาพด้านทรัพยากร การเข้าถึงแบบเปิด และประสิทธิภาพที่แข็งแกร่ง การเปิดตัวนี้เน้นย้ำถึงความมุ่งมั่นอย่างต่อเนื่องของ IBM ในการพัฒนาและปรับใช้โมเดลพื้นฐานที่ไม่เพียงแต่เปิดกว้างและโปร่งใส แต่ยังปรับแต่งมาโดยเฉพาะสำหรับการใช้งานระดับองค์กร
Granite 4.0 Tiny Preview ประกอบด้วยสองเวอร์ชันที่แตกต่างกัน: Base-Preview ซึ่งแสดงสถาปัตยกรรม decoder-only ที่เป็นนวัตกรรมใหม่ และ Tiny-Preview (Instruct) ซึ่งปรับแต่งมาสำหรับการสนทนาและการโต้ตอบแบบหลายภาษา แม้จะมีจำนวนพารามิเตอร์ที่น้อยที่สุด Granite 4.0 Tiny ก็ให้ผลลัพธ์ที่แข่งขันได้ในเกณฑ์มาตรฐานการให้เหตุผลและการสร้างที่หลากหลาย โดยเน้นถึงประสิทธิภาพของการออกแบบแบบไฮบริด
สถาปัตยกรรมเชิงลึก: กรอบการทำงานแบบ Hybrid Mixture-of-Experts พร้อม Dynamics ที่ได้รับแรงบันดาลใจจาก Mamba-2
หัวใจสำคัญของ Granite 4.0 Tiny คือสถาปัตยกรรม hybrid Mixture-of-Experts (MoE) ที่ซับซ้อน ซึ่งประกอบด้วยพารามิเตอร์ทั้งหมด 7 พันล้านพารามิเตอร์ โดยมีเพียง 1 พันล้านพารามิเตอร์ที่ใช้งานจริง ในระหว่างการส่งต่อแต่ละครั้ง ความเบาบางโดยธรรมชาติทำให้โมเดลสามารถให้ประสิทธิภาพที่ปรับขนาดได้ในขณะที่ลดความต้องการด้านการคำนวณลงอย่างมาก ทำให้เหมาะอย่างยิ่งสำหรับการใช้งานในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรและสำหรับสถานการณ์การอนุมานที่ใช้ Edge
ตัวแปร Base-Preview ใช้ประโยชน์จาก decoder-only architecture ที่ปรับปรุงด้วย Mamba-2-style layers ซึ่งนำเสนอทางเลือกแบบเรียกซ้ำเชิงเส้นแทนกลไกการทำงานร่วมกันแบบดั้งเดิม นวัตกรรมทางสถาปัตยกรรมนี้ช่วยให้โมเดลสามารถปรับขนาดได้อย่างมีประสิทธิภาพมากขึ้นเมื่อความยาวอินพุตเพิ่มขึ้น ซึ่งจะช่วยเพิ่มประสิทธิภาพในงานบริบทที่ยาวนาน เช่น การวิเคราะห์เอกสารเชิงลึก การสรุปบทสนทนาที่ครอบคลุม และการตอบคำถามที่ต้องใช้ความรู้มาก
อีกหนึ่งการตัดสินใจทางสถาปัตยกรรมที่น่าสังเกตคือการใช้งาน NoPE (No Positional Encodings) แทนที่จะอาศัยการฝังตำแหน่งแบบคงที่หรือแบบเรียนรู้ โมเดลจะรวมข้อมูลตำแหน่งโดยตรงในไดนามิกของเลเยอร์ วิธีการนี้ส่งเสริมการทั่วไปที่ดีขึ้นในความยาวอินพุตที่แตกต่างกัน และช่วยรักษาความสอดคล้องตลอดการสร้างลำดับที่ยาว
ประสิทธิภาพเกณฑ์มาตรฐาน: ประสิทธิภาพโดยไม่ลดทอนความสามารถ
แม้จะเป็นรุ่นตัวอย่าง Granite 4.0 Tiny ก็แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่สำคัญเมื่อเทียบกับรุ่นก่อนหน้าในซีรีส์ Granite ของ IBM ในการประเมินเกณฑ์มาตรฐาน Base-Preview แสดงให้เห็น:
- การเพิ่มขึ้น 5.6 จุดบน DROP (Discrete Reasoning Over Paragraphs) ซึ่งเป็นเกณฑ์มาตรฐานที่ได้รับการยอมรับอย่างกว้างขวางสำหรับการตอบคำถามแบบหลายขั้นตอนที่ประเมินความสามารถของโมเดลในการให้เหตุผลในส่วนต่างๆ ของข้อความเพื่อหาคำตอบ
- การปรับปรุง 3.8 จุดบน AGIEval ซึ่งเป็นเกณฑ์มาตรฐานที่ครอบคลุมซึ่งออกแบบมาเพื่อประเมินความเข้าใจภาษาทั่วไปและความสามารถในการให้เหตุผล ครอบคลุมสเปกตรัมที่กว้างขวางของงานทางภาษาและความรู้ความเข้าใจ
ความก้าวหน้าด้านประสิทธิภาพเหล่านี้สามารถนำมาประกอบได้ทั้งสถาปัตยกรรมขั้นสูงของโมเดลและระบบการฝึกอบรมล่วงหน้าอย่างกว้างขวาง ซึ่งรายงานว่าเกี่ยวข้องกับการประมวลผล 2.5 ล้านล้านโทเค็น ที่ดึงมาจากโดเมนและโครงสร้างทางภาษาที่หลากหลาย การฝึกอบรมล่วงหน้าอย่างกว้างขวางนี้ช่วยให้โมเดลสามารถจับภาพรูปแบบและความสัมพันธ์ที่หลากหลายภายในข้อมูล ซึ่งนำไปสู่การทั่วไปที่ดีขึ้นและประสิทธิภาพในงานต่างๆ
ตัวแปรที่ปรับแต่งตามคำแนะนำ: ปรับแต่งมาสำหรับการสนทนา ความชัดเจน และการสนับสนุนหลายภาษาในวงกว้าง
ตัวแปร Granite-4.0-Tiny-Preview (Instruct) สร้างขึ้นจากโมเดลพื้นฐานผ่านการรวมกันของ Supervised Fine-Tuning (SFT) และ Reinforcement Learning (RL) โดยใช้ชุดข้อมูลสไตล์ Tülu ที่ครอบคลุมทั้งบทสนทนาแบบเปิดและแบบสังเคราะห์ วิธีการที่ปรับแต่งนี้จะปรับโมเดลให้เหมาะสมสำหรับการปฏิบัติตามคำสั่งและการใช้งานแบบโต้ตอบ
รองรับ windows อินพุต 8,192 โทเค็น และ ความยาวการสร้าง 8,192 โทเค็น โมเดลจะรักษาความสอดคล้องและความเที่ยงตรงตลอดการโต้ตอบที่ยาวนาน แตกต่างจากไฮบริด encoder-decoder ซึ่งมักจะเสียสละความสามารถในการตีความเพื่อเพิ่มประสิทธิภาพ การตั้งค่า decoder-only ที่นี่ให้ ผลลัพธ์ที่ชัดเจนและตรวจสอบย้อนกลับได้มากขึ้น ทำให้มีค่าอย่างยิ่งสำหรับการใช้งานระดับองค์กรและความปลอดภัยที่สำคัญ ซึ่งความโปร่งใสและความสามารถในการคาดเดาเป็นสิ่งสำคัญยิ่ง
เมตริกการประเมินโดยละเอียด:
- 86.1 บน IFEval บ่งชี้ถึงประสิทธิภาพที่แข็งแกร่งในเกณฑ์มาตรฐานการปฏิบัติตามคำสั่ง ซึ่งสะท้อนถึงความสามารถของโมเดลในการดำเนินการตามคำแนะนำที่ซับซ้อนได้อย่างแม่นยำและมีประสิทธิภาพ
- 70.05 บน GSM8K ซึ่งเป็นเกณฑ์มาตรฐานที่มุ่งเน้นไปที่การแก้ปัญหาทางคณิตศาสตร์ในโรงเรียน แสดงให้เห็นถึงความถนัดของโมเดลในการให้เหตุผลเชิงปริมาณและการดำเนินการทางคณิตศาสตร์
- 82.41 บน HumanEval การวัดความแม่นยำในการสร้างโค้ด Python แสดงให้เห็นถึงความเชี่ยวชาญของโมเดลในการสร้างส่วนย่อยของโค้ดที่ถูกต้องตามหลักไวยากรณ์และมีความหมายตามความหมาย
นอกจากนี้ โมเดล instruct ยังรองรับ การโต้ตอบแบบหลายภาษาใน 12 ภาษา อำนวยความสะดวกในการปรับใช้ทั่วโลกในด้านบริการลูกค้า ระบบอัตโนมัติขององค์กร และเครื่องมือทางการศึกษา ความสามารถในการรองรับหลายภาษานี้ขยายการเข้าถึงและความสามารถในการใช้งานของโมเดล ทำให้สามารถตอบสนองต่อผู้ใช้และกรณีการใช้งานที่หลากหลายในบริบททางภาษาที่แตกต่างกัน ภาษาที่รองรับ ได้แก่ อังกฤษ สเปน ฝรั่งเศส เยอรมัน อิตาลี โปรตุเกส ดัตช์ รัสเซีย จีน ญี่ปุ่น เกาหลี และอาหรับ ซึ่งครอบคลุมประชากรโลกส่วนใหญ่
ความสำคัญของการเปิดใช้งานโอเพนซอร์ส
การตัดสินใจของ IBM ในการเผยแพร่โมเดล Granite 4.0 Tiny ทั้งสองภายใต้ใบอนุญาต Apache 2.0 เป็นขั้นตอนสำคัญในการส่งเสริมความโปร่งใสและความร่วมมือภายในชุมชน AI การให้การเข้าถึงแบบเปิดไปยังน้ำหนักของโมเดล ไฟล์การกำหนดค่า และสคริปต์การใช้งานตัวอย่าง IBM ช่วยให้นักวิจัย นักพัฒนา และองค์กรต่างๆ สามารถทดลอง ปรับแต่ง และรวมโมเดลเข้ากับเวิร์กโฟลว์ NLP ของตนเองได้อย่างอิสระ แนวทางโอเพนซอร์สนี้ไม่เพียงแต่เร่งความเร็วนวัตกรรม แต่ยังส่งเสริมความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความสามารถและข้อจำกัดของโมเดล
ใบอนุญาต Apache 2.0 มีประโยชน์อย่างยิ่งเนื่องจากอนุญาตให้ใช้ซอฟต์แวร์ได้ทั้งในเชิงพาณิชย์และที่ไม่ใช่เชิงพาณิชย์ โดยไม่ต้องให้ผู้ใช้เปิดเผยการแก้ไขหรือผลงานลอกเลียนแบบใดๆ ใบอนุญาตที่อนุญาตนี้ส่งเสริมการนำไปใช้และการทดลองในวงกว้าง ส่งเสริมระบบนิเวศที่มีชีวิตชีวารอบโมเดล Granite 4.0 Tiny นอกจากนี้ ความพร้อมใช้งานของโมเดลบน Hugging Face ซึ่งเป็นแพลตฟอร์มยอดนิยมสำหรับการแชร์และค้นพบโมเดลที่ฝึกอบรมไว้ล่วงหน้า ทำให้มั่นใจได้ว่าผู้ฟังในวงกว้างสามารถเข้าถึงได้ง่าย
ความพร้อมใช้งานแบบโอเพนซอร์สของ Granite 4.0 Tiny ยังสอดคล้องกับความมุ่งมั่นที่กว้างขึ้นของ IBM ในการพัฒนา AI ที่มีความรับผิดชอบ การทำให้โมเดลมีความโปร่งใสและตรวจสอบได้ IBM ช่วยให้ผู้ใช้สามารถตรวจสอบพฤติกรรมของพวกเขา ระบุอคติที่อาจเกิดขึ้น และตรวจสอบให้แน่ใจว่ามีการใช้งานอย่างปลอดภัยและมีจริยธรรม ความมุ่งมั่นในความโปร่งใสนี้มีความสำคัญอย่างยิ่งต่อการสร้างความไว้วางใจในระบบ AI และส่งเสริมการปรับใช้ที่รับผิดชอบในโดเมนต่างๆ
การวางรากฐานสำหรับ Granite 4.0: เหลือบมองอนาคต
Granite 4.0 Tiny Preview นำเสนอข้อบ่งชี้เบื้องต้นเกี่ยวกับกลยุทธ์ที่ครอบคลุมของ IBM สำหรับชุดโมเดลภาษาเจเนอเรชันถัดไป ด้วยการบูรณาการ สถาปัตยกรรม MoE ที่มีประสิทธิภาพ การสนับสนุนบริบทที่ยาวนานที่แข็งแกร่ง และ การปรับแต่งที่เน้นคำแนะนำ ตระกูลโมเดล Granite 4.0 พยายามที่จะมอบความสามารถที่ล้ำสมัยในแพ็คเกจที่จัดการได้และปรับให้เหมาะสมกับทรัพยากร แนวทางนี้เน้นย้ำถึงความมุ่งมั่นของ IBM ในการพัฒนาโซลูชัน AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังใช้งานได้จริงและเข้าถึงได้
การรวมกันขององค์ประกอบหลักสามประการเหล่านี้ ได้แก่ สถาปัตยกรรมที่มีประสิทธิภาพ การสนับสนุนบริบทที่ยาวนาน และการปรับแต่งที่เน้นคำแนะนำ ทำให้ Granite 4.0 เป็นโมเดลภาษาที่ใช้งานได้หลากหลายและปรับเปลี่ยนได้ เหมาะสำหรับการใช้งานที่หลากหลาย สถาปัตยกรรม MoE ที่มีประสิทธิภาพช่วยให้โมเดลสามารถปรับขนาดได้อย่างมีประสิทธิภาพด้วยข้อมูลและความซับซ้อนที่เพิ่มขึ้น ในขณะที่การสนับสนุนบริบทที่ยาวนานช่วยให้สามารถประมวลผลและทำความเข้าใจเอกสารและการสนทนาที่ยาวได้ ในทางกลับกัน การปรับแต่งที่เน้นคำแนะนำทำให้มั่นใจได้ว่าโมเดลสามารถดำเนินการตามคำแนะนำที่ซับซ้อนได้อย่างแม่นยำและมีประสิทธิภาพ ทำให้เหมาะสำหรับงานต่างๆ เช่น การตอบคำถาม การสรุปข้อความ และการสร้างโค้ด
เมื่อมีการเปิดเผยตัวแปรของ Granite 4.0 มากขึ้น เราสามารถคาดการณ์ได้ว่า IBM จะเสริมสร้างการลงทุนใน AI ที่มีความรับผิดชอบและเปิดกว้างต่อไป โดยสร้างตัวเองให้เป็นพลังสำคัญในการกำหนดวิถีของโมเดลภาษาที่โปร่งใสและมีประสิทธิภาพสูงสำหรับการใช้งานทั้งในระดับองค์กรและระดับงานวิจัย การลงทุนอย่างต่อเนื่องนี้สะท้อนให้เห็นถึงความเชื่อของ IBM ว่า AI ควรได้รับการพัฒนาและปรับใช้ในลักษณะที่มีจริยธรรมและเป็นประโยชน์ต่อสังคม ด้วยการจัดลำดับความสำคัญของความโปร่งใส ความรับผิดชอบ และความเป็นธรรม IBM มุ่งมั่นที่จะสร้างระบบ AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังน่าเชื่อถือและสอดคล้องกับค่านิยมของมนุษย์
ซีรีส์ Granite 4.0 แสดงถึงก้าวสำคัญไปข้างหน้าในวิวัฒนาการของโมเดลภาษา โดยนำเสนอการผสมผสานที่น่าสนใจของประสิทธิภาพ ประสิทธิภาพ และความโปร่งใส ในขณะที่ IBM ยังคงคิดค้นสิ่งใหม่ๆ ในด้านนี้ เราสามารถคาดหวังที่จะเห็นการพัฒนาที่ก้าวล้ำมากยิ่งขึ้น ซึ่งจะเปลี่ยนแปลงวิธีที่เราโต้ตอบกับและใช้ประโยชน์จาก AI Granite 4.0 Tiny Preview เป็นเพียงจุดเริ่มต้น และอนาคตของโมเดลภาษาสดใสกว่าที่เคย การเน้นที่ความสามารถในบริบทที่ยาวนานโดยเฉพาะอย่างยิ่ง เปิดโอกาสใหม่ๆ สำหรับแอปพลิเคชัน AI ในโดเมนต่างๆ เช่น การวิจัยทางวิทยาศาสตร์ การวิเคราะห์ทางกฎหมาย และการวิเคราะห์เอกสารทางประวัติศาสตร์ ซึ่งความสามารถในการประมวลผลและทำความเข้าใจข้อความที่ยาวและซับซ้อนเป็นสิ่งสำคัญ
นอกจากนี้ ความสามารถในการรองรับหลายภาษาของโมเดล Granite 4.0 ยังทำให้เหมาะสำหรับการใช้งานทั่วโลกในอุตสาหกรรมต่างๆ ตั้งแต่บริการลูกค้าไปจนถึงการศึกษา การรองรับภาษาที่หลากหลาย IBM ทำให้มั่นใจได้ว่าโซลูชัน AI ของตนสามารถเข้าถึงได้สำหรับผู้ฟังที่หลากหลาย โดยไม่คำนึงถึงภาษาแม่เกิด ความมุ่งมั่นในความครอบคลุมนี้เป็นสิ่งจำเป็นสำหรับการส่งเสริมการนำ AI ไปใช้อย่างแพร่หลาย และทำให้มั่นใจได้ว่าผลประโยชน์ของ AI จะได้รับการแบ่งปันโดยทุกคน
นอกเหนือจากความสามารถทางเทคนิคแล้ว ซีรีส์ Granite 4.0 ยังสะท้อนให้เห็นถึงความมุ่งมั่นของ IBM ในการพัฒนา AI ที่มีความรับผิดชอบ ด้วยการจัดลำดับความสำคัญของความโปร่งใส ความรับผิดชอบ และความเป็นธรรม IBM กำลังสร้างระบบ AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังน่าเชื่อถือและสอดคล้องกับค่านิยมของมนุษย์ ความมุ่งมั่นในการสร้าง AI ที่มีความรับผิดชอบนี้มีความสำคัญอย่างยิ่งต่อการสร้างความไว้วางใจจากสาธารณชนใน AI และทำให้มั่นใจได้ว่า AI จะถูกนำไปใช้เพื่อประโยชน์ของสังคม
IBM เปิดตัว Granite 4.0 Tiny Preview: โมเดลภาษาโอเพนซอร์สที่คล่องตัวซึ่งปรับให้เหมาะสมสำหรับบริบทที่ขยายและคำแนะนำที่แม่นยำ
IBM เพิ่งประกาศเปิดตัว Granite 4.0 Tiny ซึ่งเป็นรุ่นที่กะทัดรัดที่สุดในซีรีส์ Granite 4.0 ที่กำลังจะมาถึง โมเดลนี้เผยแพร่ภายใต้ Apache 2.0 license ที่อนุญาตให้ใช้งานได้อย่างอิสระ ได้รับการออกแบบมาอย่างพิถีพิถันสำหรับการประมวลผลบริบทที่ยาวนานและการใช้งานที่ขับเคลื่อนด้วยคำสั่ง โดยสร้างสมดุลระหว่างประสิทธิภาพด้านทรัพยากร การเข้าถึงแบบเปิด และประสิทธิภาพที่แข็งแกร่ง การเปิดตัวนี้เน้นย้ำถึงความมุ่งมั่นอย่างต่อเนื่องของ IBM ในการพัฒนาและปรับใช้โมเดลพื้นฐานที่ไม่เพียงแต่เปิดกว้างและโปร่งใส แต่ยังปรับแต่งมาโดยเฉพาะสำหรับการใช้งานระดับองค์กร
Granite 4.0 Tiny Preview ประกอบด้วยสองเวอร์ชันที่แตกต่างกัน: Base-Preview ซึ่งแสดงสถาปัตยกรรม decoder-only ที่เป็นนวัตกรรมใหม่ และ Tiny-Preview (Instruct) ซึ่งปรับแต่งมาสำหรับการสนทนาและการโต้ตอบแบบหลายภาษา แม้จะมีจำนวนพารามิเตอร์ที่น้อยที่สุด Granite 4.0 Tiny ก็ให้ผลลัพธ์ที่แข่งขันได้ในเกณฑ์มาตรฐานการให้เหตุผลและการสร้างที่หลากหลาย โดยเน้นถึงประสิทธิภาพของการออกแบบแบบไฮบริด
สถาปัตยกรรมเชิงลึก: กรอบการทำงานแบบ Hybrid Mixture-of-Experts พร้อม Dynamics ที่ได้รับแรงบันดาลใจจาก Mamba-2
หัวใจสำคัญของ Granite 4.0 Tiny คือสถาปัตยกรรม hybrid Mixture-of-Experts (MoE) ที่ซับซ้อน ซึ่งประกอบด้วยพารามิเตอร์ทั้งหมด 7 พันล้านพารามิเตอร์ โดยมีเพียง 1 พันล้านพารามิเตอร์ที่ใช้งานจริง ในระหว่างการส่งต่อแต่ละครั้ง ความเบาบางโดยธรรมชาติทำให้โมเดลสามารถให้ประสิทธิภาพที่ปรับขนาดได้ในขณะที่ลดความต้องการด้านการคำนวณลงอย่างมาก ทำให้เหมาะอย่างยิ่งสำหรับการใช้งานในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากรและสำหรับสถานการณ์การอนุมานที่ใช้ Edge
ตัวแปร Base-Preview ใช้ประโยชน์จาก decoder-only architecture ที่ปรับปรุงด้วย Mamba-2-style layers ซึ่งนำเสนอทางเลือกแบบเรียกซ้ำเชิงเส้นแทนกลไกการทำงานร่วมกันแบบดั้งเดิม นวัตกรรมทางสถาปัตยกรรมนี้ช่วยให้โมเดลสามารถปรับขนาดได้อย่างมีประสิทธิภาพมากขึ้นเมื่อความยาวอินพุตเพิ่มขึ้น ซึ่งจะช่วยเพิ่มประสิทธิภาพในงานบริบทที่ยาวนาน เช่น การวิเคราะห์เอกสารเชิงลึก การสรุปบทสนทนาที่ครอบคลุม และการตอบคำถามที่ต้องใช้ความรู้มาก
อีกหนึ่งการตัดสินใจทางสถาปัตยกรรมที่น่าสังเกตคือการใช้งาน NoPE (No Positional Encodings) แทนที่จะอาศัยการฝังตำแหน่งแบบคงที่หรือแบบเรียนรู้ โมเดลจะรวมข้อมูลตำแหน่งโดยตรงในไดนามิกของเลเยอร์ วิธีการนี้ส่งเสริมการทั่วไปที่ดีขึ้นในความยาวอินพุตที่แตกต่างกัน และช่วยรักษาความสอดคล้องตลอดการสร้างลำดับที่ยาว
ประสิทธิภาพเกณฑ์มาตรฐาน: ประสิทธิภาพโดยไม่ลดทอนความสามารถ
แม้จะเป็นรุ่นตัวอย่าง Granite 4.0 Tiny ก็แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่สำคัญเมื่อเทียบกับรุ่นก่อนหน้าในซีรีส์ Granite ของ IBM ในการประเมินเกณฑ์มาตรฐาน Base-Preview แสดงให้เห็น:
- การเพิ่มขึ้น 5.6 จุดบน DROP (Discrete Reasoning Over Paragraphs) ซึ่งเป็นเกณฑ์มาตรฐานที่ได้รับการยอมรับอย่างกว้างขวางสำหรับการตอบคำถามแบบหลายขั้นตอนที่ประเมินความสามารถของโมเดลในการให้เหตุผลในส่วนต่างๆ ของข้อความเพื่อหาคำตอบ
- การปรับปรุง 3.8 จุดบน AGIEval ซึ่งเป็นเกณฑ์มาตรฐานที่ครอบคลุมซึ่งออกแบบมาเพื่อประเมินความเข้าใจภาษาทั่วไปและความสามารถในการให้เหตุผล ครอบคลุมสเปกตรัมที่กว้างขวางของงานทางภาษาและความรู้ความเข้าใจ
ความก้าวหน้าด้านประสิทธิภาพเหล่านี้สามารถนำมาประกอบได้ทั้งสถาปัตยกรรมขั้นสูงของโมเดลและระบบการฝึกอบรมล่วงหน้าอย่างกว้างขวาง ซึ่งรายงานว่าเกี่ยวข้องกับการประมวลผล 2.5 ล้านล้านโทเค็น ที่ดึงมาจากโดเมนและโครงสร้างทางภาษาที่หลากหลาย การฝึกอบรมล่วงหน้าอย่างกว้างขวางนี้ช่วยให้โมเดลสามารถจับภาพรูปแบบและความสัมพันธ์ที่หลากหลายภายในข้อมูล ซึ่งนำไปสู่การทั่วไปที่ดีขึ้นและประสิทธิภาพในงานต่างๆ
ตัวแปรที่ปรับแต่งตามคำแนะนำ: ปรับแต่งมาสำหรับการสนทนา ความชัดเจน และการสนับสนุนหลายภาษาในวงกว้าง
ตัวแปร Granite-4.0-Tiny-Preview (Instruct) สร้างขึ้นจากโมเดลพื้นฐานผ่านการรวมกันของ Supervised Fine-Tuning (SFT) และ Reinforcement Learning (RL) โดยใช้ชุดข้อมูลสไตล์ Tülu ที่ครอบคลุมทั้งบทสนทนาแบบเปิดและแบบสังเคราะห์ วิธีการที่ปรับแต่งนี้จะปรับโมเดลให้เหมาะสมสำหรับการปฏิบัติตามคำสั่งและการใช้งานแบบโต้ตอบ
รองรับ windows อินพุต 8,192 โทเค็น และ ความยาวการสร้าง 8,192 โทเค็น โมเดลจะรักษาความสอดคล้องและความเที่ยงตรงตลอดการโต้ตอบที่ยาวนาน แตกต่างจากไฮบริด encoder-decoder ซึ่งมักจะเสียสละความสามารถในการตีความเพื่อเพิ่มประสิทธิภาพ การตั้งค่า decoder-only ที่นี่ให้ ผลลัพธ์ที่ชัดเจนและตรวจสอบย้อนกลับได้มากขึ้น ทำให้มีค่าอย่างยิ่งสำหรับการใช้งานระดับองค์กรและความปลอดภัยที่สำคัญ ซึ่งความโปร่งใสและความสามารถในการคาดเดาเป็นสิ่งสำคัญยิ่ง
เมตริกการประเมินโดยละเอียด:
- 86.1 บน IFEval บ่งชี้ถึงประสิทธิภาพที่แข็งแกร่งในเกณฑ์มาตรฐานการปฏิบัติตามคำสั่ง ซึ่งสะท้อนถึงความสามารถของโมเดลในการดำเนินการตามคำแนะนำที่ซับซ้อนได้อย่างแม่นยำและมีประสิทธิภาพ
- 70.05 บน GSM8K ซึ่งเป็นเกณฑ์มาตรฐานที่มุ่งเน้นไปที่การแก้ปัญหาทางคณิตศาสตร์ในโรงเรียน แสดงให้เห็นถึงความถนัดของโมเดลในการให้เหตุผลเชิงปริมาณและการดำเนินการทางคณิตศาสตร์
- 82.41 บน HumanEval การวัดความแม่นยำในการสร้างโค้ด Python แสดงให้เห็นถึงความเชี่ยวชาญของโมเดลในการสร้างส่วนย่อยของโค้ดที่ถูกต้องตามหลักไวยากรณ์และมีความหมายตามความหมาย
นอกจากนี้ โมเดล instruct ยังรองรับ การโต้ตอบแบบหลายภาษาใน 12 ภาษา อำนวยความสะดวกในการปรับใช้ทั่วโลกในด้านบริการลูกค้า ระบบอัตโนมัติขององค์กร และเครื่องมือทางการศึกษา ความสามารถในการรองรับหลายภาษานี้ขยายการเข้าถึงและความสามารถในการใช้งานของโมเดล ทำให้สามารถตอบสนองต่อผู้ใช้และกรณีการใช้งานที่หลากหลายในบริบททางภาษาที่แตกต่างกัน ภาษาที่รองรับ ได้แก่ อังกฤษ สเปน ฝรั่งเศส เยอรมัน อิตาลี โปรตุเกส ดัตช์ รัสเซีย จีน ญี่ปุ่น เกาหลี และอาหรับ ซึ่งครอบคลุมประชากรโลกส่วนใหญ่
ความสำคัญของการเปิดใช้งานโอเพนซอร์ส
การตัดสินใจของ IBM ในการเผยแพร่โมเดล Granite 4.0 Tiny ทั้งสองภายใต้ใบอนุญาต Apache 2.0 เป็นขั้นตอนสำคัญในการส่งเสริมความโปร่งใสและความร่วมมือภายในชุมชน AI การให้การเข้าถึงแบบเปิดไปยังน้ำหนักของโมเดล ไฟล์การกำหนดค่า และสคริปต์การใช้งานตัวอย่าง IBM ช่วยให้นักวิจัย นักพัฒนา และองค์กรต่างๆ สามารถทดลอง ปรับแต่ง และรวมโมเดลเข้ากับเวิร์กโฟลว์ NLP ของตนเองได้อย่างอิสระ แนวทางโอเพนซอร์สนี้ไม่เพียงแต่เร่งความเร็วนวัตกรรม แต่ยังส่งเสริมความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับความสามารถและข้อจำกัดของโมเดล
ใบอนุญาต Apache 2.0 มีประโยชน์อย่างยิ่งเนื่องจากอนุญาตให้ใช้ซอฟต์แวร์ได้ทั้งในเชิงพาณิชย์และที่ไม่ใช่เชิงพาณิชย์ โดยไม่ต้องให้ผู้ใช้เปิดเผยการแก้ไขหรือผลงานลอกเลียนแบบใดๆ ใบอนุญาตที่อนุญาตนี้ส่งเสริมการนำไปใช้และการทดลองในวงกว้าง ส่งเสริมระบบนิเวศที่มีชีวิตชีวารอบโมเดล Granite 4.0 Tiny นอกจากนี้ ความพร้อมใช้งานของโมเดลบน Hugging Face ซึ่งเป็นแพลตฟอร์มยอดนิยมสำหรับการแชร์และค้นพบโมเดลที่ฝึกอบรมไว้ล่วงหน้า ทำให้มั่นใจได้ว่าผู้ฟังในวงกว้างสามารถเข้าถึงได้ง่าย
ความพร้อมใช้งานแบบโอเพนซอร์สของ Granite 4.0 Tiny ยังสอดคล้องกับความมุ่งมั่นที่กว้างขึ้นของ IBM ในการพัฒนา AI ที่มีความรับผิดชอบ การทำให้โมเดลมีความโปร่งใสและตรวจสอบได้ IBM ช่วยให้ผู้ใช้สามารถตรวจสอบพฤติกรรมของพวกเขา ระบุอคติที่อาจเกิดขึ้น และตรวจสอบให้แน่ใจว่ามีการใช้งานอย่างปลอดภัยและมีจริยธรรม ความมุ่งมั่นในความโปร่งใสนี้มีความสำคัญอย่างยิ่งต่อการสร้างความไว้วางใจในระบบ AI และส่งเสริมการปรับใช้ที่รับผิดชอบในโดเมนต่างๆ
การวางรากฐานสำหรับ Granite 4.0: เหลือบมองอนาคต
Granite 4.0 Tiny Preview นำเสนอข้อบ่งชี้เบื้องต้นเกี่ยวกับกลยุทธ์ที่ครอบคลุมของ IBM สำหรับชุดโมเดลภาษาเจเนอเรชันถัดไป ด้วยการบูรณาการ สถาปัตยกรรม MoE ที่มีประสิทธิภาพ การสนับสนุนบริบทที่ยาวนานที่แข็งแกร่ง และ การปรับแต่งที่เน้นคำแนะนำ ตระกูลโมเดล Granite 4.0 พยายามที่จะมอบความสามารถที่ล้ำสมัยในแพ็คเกจที่จัดการได้และปรับให้เหมาะสมกับทรัพยากร แนวทางนี้เน้นย้ำถึงความมุ่งมั่นของ IBM ในการพัฒนาโซลูชัน AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังใช้งานได้จริงและเข้าถึงได้
การรวมกันขององค์ประกอบหลักสามประการเหล่านี้ ได้แก่ สถาปัตยกรรมที่มีประสิทธิภาพ การสนับสนุนบริบทที่ยาวนาน และการปรับแต่งที่เน้นคำแนะนำ ทำให้ Granite 4.0 เป็นโมเดลภาษาที่ใช้งานได้หลากหลายและปรับเปลี่ยนได้ เหมาะสำหรับการใช้งานที่หลากหลาย สถาปัตยกรรม MoE ที่มีประสิทธิภาพช่วยให้โมเดลสามารถปรับขนาดได้อย่างมีประสิทธิภาพด้วยข้อมูลและความซับซ้อนที่เพิ่มขึ้น ในขณะที่การสนับสนุนบริบทที่ยาวนานช่วยให้สามารถประมวลผลและทำความเข้าใจเอกสารและการสนทนาที่ยาวได้ ในทางกลับกัน การปรับแต่งที่เน้นคำแนะนำทำให้มั่นใจได้ว่าโมเดลสามารถดำเนินการตามคำแนะนำที่ซับซ้อนได้อย่างแม่นยำและมีประสิทธิภาพ ทำให้เหมาะสำหรับงานต่างๆ เช่น การตอบคำถาม การสรุปข้อความ และการสร้างโค้ด
เมื่อมีการเปิดเผยตัวแปรของ Granite 4.0 มากขึ้น เราสามารถคาดการณ์ได้ว่า IBM จะเสริมสร้างการลงทุนใน AI ที่มีความรับผิดชอบและเปิดกว้างต่อไป โดยสร้างตัวเองให้เป็นพลังสำคัญในการกำหนดวิถีของโมเดลภาษาที่โปร่งใสและมีประสิทธิภาพสูงสำหรับการใช้งานทั้งในระดับองค์กรและระดับงานวิจัย การลงทุนอย่างต่อเนื่องนี้สะท้อนให้เห็นถึงความเชื่อของ IBM ว่า AI ควรได้รับการพัฒนาและปรับใช้ในลักษณะที่มีจริยธรรมและเป็นประโยชน์ต่อสังคม ด้วยการจัดลำดับความสำคัญของความโปร่งใส ความรับผิดชอบ และความเป็นธรรม IBM มุ่งมั่นที่จะสร้างระบบ AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังน่าเชื่อถือและสอดคล้องกับค่านิยมของมนุษย์
ซีรีส์ Granite 4.0 แสดงถึงก้าวสำคัญไปข้างหน้าในวิวัฒนาการของโมเดลภาษา โดยนำเสนอการผสมผสานที่น่าสนใจของประสิทธิภาพ ประสิทธิภาพ และความโปร่งใส ในขณะที่ IBM ยังคงคิดค้นสิ่งใหม่ๆ ในด้านนี้ เราสามารถคาดหวังที่จะเห็นการพัฒนาที่ก้าวล้ำมากยิ่งขึ้น ซึ่งจะเปลี่ยนแปลงวิธีที่เราโต้ตอบกับและใช้ประโยชน์จาก AI Granite 4.0 Tiny Preview เป็นเพียงจุดเริ่มต้น และอนาคตของโมเดลภาษาสดใสกว่าที่เคย การเน้นที่ความสามารถในบริบทที่ยาวนานโดยเฉพาะอย่างยิ่ง เปิดโอกาสใหม่ๆ สำหรับแอปพลิเคชัน AI ในโดเมนต่างๆ เช่น การวิจัยทางวิทยาศาสตร์ การวิเคราะห์ทางกฎหมาย และการวิเคราะห์เอกสารทางประวัติศาสตร์ ซึ่งความสามารถในการประมวลผลและทำความเข้าใจข้อความที่ยาวและซับซ้อนเป็นสิ่งสำคัญ
นอกจากนี้ ความสามารถในการรองรับหลายภาษาของโมเดล Granite 4.0 ยังทำให้เหมาะสำหรับการใช้งานทั่วโลกในอุตสาหกรรมต่างๆ ตั้งแต่บริการลูกค้าไปจนถึงการศึกษา การรองรับภาษาที่หลากหลาย IBM ทำให้มั่นใจได้ว่าโซลูชัน AI ของตนสามารถเข้าถึงได้สำหรับผู้ฟังที่หลากหลาย โดยไม่คำนึงถึงภาษาแม่เกิด ความมุ่งมั่นในความครอบคลุมนี้เป็นสิ่งจำเป็นสำหรับการส่งเสริมการนำ AI ไปใช้อย่างแพร่หลาย และทำให้มั่นใจได้ว่าผลประโยชน์ของ AI จะได้รับการแบ่งปันโดยทุกคน
นอกเหนือจากความสามารถทางเทคนิคแล้ว ซีรีส์ Granite 4.0 ยังสะท้อนให้เห็นถึงความมุ่งมั่นของ IBM ในการพัฒนา AI ที่มีความรับผิดชอบ ด้วยการจัดลำดับความสำคัญของความโปร่งใส ความรับผิดชอบ และความเป็นธรรม IBM กำลังสร้างระบบ AI ที่ไม่เพียงแต่ทรงพลัง แต่ยังน่าเชื่อถือและสอดคล้องกับค่านิยมของมนุษย์ ความมุ่งมั่นในการสร้าง AI ที่มีความรับผิดชอบนี้มีความสำคัญอย่างยิ่งต่อการสร้างความไว้วางใจจากสาธารณชนใน AI และทำให้มั่นใจได้ว่า AI จะถูกนำไปใช้เพื่อประโยชน์ของสังคม