ปลดปล่อยพลัง AI ส่วนบุคคล: ปรับแต่ง o4-mini ด้วย RL

ปรับแต่ง AI ให้เข้ากับ DNA ขององค์กรของคุณ

โดยพื้นฐานแล้ว ความก้าวหน้านี้ช่วยให้นักพัฒนาสามารถใช้แบบจำลองที่เข้าถึงได้โดยทั่วไป และปรับแต่งให้สอดคล้องกับความต้องการเฉพาะของตนได้อย่างแม่นยำ โดยใช้ประโยชน์จากแดชบอร์ดแพลตฟอร์มที่ใช้งานง่ายของ OpenAI กระบวนการนี้ช่วยให้สามารถสร้างโซลูชัน AI ที่ผสานรวมเข้ากับระบบนิเวศที่มีอยู่ขององค์กรได้อย่างลึกซึ้ง ส่งเสริมประสิทธิภาพและความเกี่ยวข้อง

การปรับใช้และการผสานรวมอย่างราบรื่น

เมื่อกระบวนการปรับแต่งเสร็จสมบูรณ์ แบบจำลองที่ปรับแต่งเองสามารถปรับใช้ได้อย่างราบรื่นผ่าน Application Programming Interface (API) ของ OpenAI ซึ่งเป็นส่วนประกอบสำคัญของแพลตฟอร์มนักพัฒนา การปรับใช้นี้ช่วยให้สามารถผสานรวมโดยตรงกับเครือข่ายภายในของบริษัท เชื่อมต่อแบบจำลอง AI กับเวิร์กสเตชันของพนักงาน ฐานข้อมูลที่ครอบคลุม และแอปพลิเคชันที่หลากหลาย

เพิ่มขีดความสามารถให้พนักงานด้วย AI ที่กำหนดเอง

ลองจินตนาการถึงสถานการณ์ที่พนักงานสามารถโต้ตอบกับแชทบอทภายในแบบกำหนดเอง หรือ OpenAI GPT ที่ปรับแต่งเอง เข้าถึงความรู้ที่เป็นกรรมสิทธิ์ของบริษัทได้อย่างง่ายดาย ความสามารถนี้ขับเคลื่อนโดย RFT รุ่นของแบบจำลอง ช่วยให้สามารถดึงข้อมูลเกี่ยวกับผลิตภัณฑ์และนโยบายของบริษัทได้อย่างรวดเร็ว รวมถึงการสร้างการสื่อสารและหลักประกันใหม่ที่สะท้อนถึงเสียงของแบรนด์ของบริษัทได้อย่างสมบูรณ์แบบ

ข้อควรระวัง: การจัดการกับความเสี่ยงที่อาจเกิดขึ้น

จำเป็นอย่างยิ่งที่จะต้องรับทราบว่าการวิจัยได้บ่งชี้ถึงช่องโหว่ที่อาจเกิดขึ้นในแบบจำลองที่ปรับแต่งอย่างละเอียด ทำให้พวกเขามีแนวโน้มที่จะถูก jailbreak และภาพหลอน ดังนั้นจึงเป็นสิ่งสำคัญอย่างยิ่งที่จะต้องดำเนินการด้วยความระมัดระวังและใช้มาตรการป้องกันที่แข็งแกร่งเพื่อลดความเสี่ยงเหล่านี้

ขยายขอบเขตของการเพิ่มประสิทธิภาพแบบจำลอง

การเปิดตัวครั้งนี้ถือเป็นการขยายขอบเขตที่สำคัญของชุดเครื่องมือเพิ่มประสิทธิภาพแบบจำลองของ OpenAI ซึ่งก้าวข้ามข้อจำกัดของการปรับแต่งแบบ supervised fine-tuning (SFT) RFT นำเสนอแนวทางที่หลากหลายและละเอียดอ่อนมากขึ้นในการจัดการกับงานที่ซับซ้อนและเฉพาะเจาะจงในโดเมน มอบการควบคุมที่ไม่เหมือนใครให้กับองค์กรในการปรับใช้ AI

Supervised Fine-Tuning สำหรับ GPT-4.1 Nano

นอกเหนือจากการประกาศ RFT แล้ว OpenAI ยังได้เปิดเผยว่าการปรับแต่งแบบ supervised fine-tuning ได้รับการสนับสนุนสำหรับแบบจำลอง GPT-4.1 nano ด้วย แบบจำลองนี้ขึ้นชื่อในด้านความสามารถในการจ่ายและความเร็ว มอบตัวเลือกที่น่าสนใจสำหรับองค์กรที่ต้องการโซลูชัน AI ที่คุ้มค่า

เปิดตัวพลังของการปรับแต่งแบบ Reinforcement Fine-Tuning

RFT ช่วยให้สามารถสร้างรุ่นพิเศษของแบบจำลองการให้เหตุผล o4-mini ของ OpenAI โดยปรับให้เข้ากับเป้าหมายเฉพาะของผู้ใช้หรือองค์กร/องค์กรของพวกเขาโดยอัตโนมัติ สิ่งนี้ทำได้โดยการใช้ลูปป้อนกลับระหว่างกระบวนการฝึกอบรม ซึ่งเป็นความสามารถที่ปัจจุบันนักพัฒนาสามารถเข้าถึงได้ที่องค์กรขนาดใหญ่และนักพัฒนารายย่อยผ่านแพลตฟอร์มนักพัฒนาออนไลน์ที่ใช้งานง่ายของ OpenAI

การเปลี่ยนแปลงกระบวนทัศน์ในการฝึกอบรมแบบจำลอง

ต่างจากการเรียนรู้แบบ supervised learning แบบเดิม ซึ่งอาศัยการฝึกอบรมด้วยชุดคำถามและคำตอบที่กำหนดไว้ RFT ใช้แบบจำลอง grader เพื่อประเมินการตอบสนองของผู้สมัครหลายรายสำหรับแต่ละข้อความแจ้ง จากนั้นอัลกอริทึมการฝึกอบรมจะปรับน้ำหนักของแบบจำลองอย่างชาญฉลาดเพื่อสนับสนุนเอาต์พุตที่มีคะแนนสูง นำไปสู่แบบจำลองที่ละเอียดและแม่นยำยิ่งขึ้น

การปรับ AI ให้สอดคล้องกับวัตถุประสงค์ที่ละเอียดอ่อน

โครงสร้างที่เป็นนวัตกรรมนี้ช่วยให้ลูกค้าสามารถปรับแบบจำลองให้สอดคล้องกับวัตถุประสงค์ที่ละเอียดอ่อนที่หลากหลาย รวมถึงการนำ "รูปแบบบ้าน" เฉพาะของการสื่อสารและคำศัพท์มาใช้ การปฏิบัติตามกฎความปลอดภัยที่เข้มงวด การรักษาสมรรถภาพที่ถูกต้องตามข้อเท็จจริง และการปฏิบัติตามนโยบายภายใน

การใช้ Reinforcement Fine-Tuning: คำแนะนำทีละขั้นตอน

เพื่อให้ใช้ RFT ได้อย่างมีประสิทธิภาพ ผู้ใช้จำเป็นต้องปฏิบัติตามแนวทางที่มีโครงสร้าง:

1. กำหนดฟังก์ชันการให้คะแนน: ซึ่งเกี่ยวข้องกับการสร้างวิธีการที่ชัดเจนและเป็นกลางสำหรับการประเมินการตอบสนองของแบบจำลอง ผู้ใช้สามารถสร้างฟังก์ชันการให้คะแนนของตนเองหรือใช้ graders ตามแบบจำลองของ OpenAI
2. อัปโหลดชุดข้อมูล: ชุดข้อมูลที่ครอบคลุมซึ่งมีข้อความแจ้งและการแบ่งส่วนการตรวจสอบความถูกต้องเป็นสิ่งจำเป็นสำหรับการฝึกอบรมแบบจำลอง ชุดข้อมูลนี้ควรถ่ายทอดงานและวัตถุประสงค์เฉพาะขององค์กรได้อย่างแม่นยำ
3. กำหนดค่างานฝึกอบรม: งานฝึกอบรมสามารถกำหนดค่าผ่าน API หรือแดชบอร์ดการปรับแต่ง ช่วยให้ผู้ใช้มีความยืดหยุ่นและการควบคุมกระบวนการ
4. ตรวจสอบความคืบหน้าและทำซ้ำ: การตรวจสอบความคืบหน้าของการฝึกอบรมอย่างต่อเนื่องเป็นสิ่งสำคัญสำหรับการระบุส่วนที่ต้องปรับปรุง ผู้ใช้สามารถตรวจสอบจุดตรวจสอบและทำซ้ำข้อมูลหรือตรรกะการให้คะแนนเพื่อเพิ่มประสิทธิภาพการทำงานของแบบจำลอง

แบบจำลองที่รองรับและความพร้อมใช้งาน

ปัจจุบัน RFT รองรับเฉพาะแบบจำลองการให้เหตุผล o-series โดยแบบจำลอง o4-mini เป็นจุดสนใจหลัก สิ่งนี้ทำให้มั่นใจได้ว่าผู้ใช้สามารถใช้ประโยชน์จากศักยภาพทั้งหมดของ RFT สำหรับแอปพลิเคชันเฉพาะของตน

แอปพลิเคชันในโลกแห่งความเป็นจริง: กรณีการใช้งานระดับองค์กรในช่วงแรก

แพลตฟอร์มของ OpenAI แสดงให้เห็นถึงผู้ใช้ในช่วงแรกที่ประสบความสำเร็จในการใช้ RFT ในอุตสาหกรรมที่หลากหลาย:

• Accordance AI: บรรลุผลสำเร็จในการปรับปรุงความแม่นยำ 39% สำหรับงานวิเคราะห์ภาษีที่ซับซ้อน เหนือกว่าแบบจำลองชั้นนำทั้งหมดในเกณฑ์มาตรฐานการให้เหตุผลด้านภาษี
• Ambience Healthcare: ปรับปรุงประสิทธิภาพของแบบจำลอง 12 คะแนนเหนือกว่าพื้นฐานของแพทย์ในชุดข้อมูล gold-panel สำหรับการกำหนดรหัสทางการแพทย์ ICD-10
• Harvey: ปรับปรุงคะแนน F1 การแยกข้อความอ้างอิง 20% สำหรับการวิเคราะห์เอกสารทางกฎหมาย ตรงกับ GPT-4o ในด้านความแม่นยำในขณะที่บรรลุการอนุมานที่เร็วขึ้น
• Runloop: บรรลุผลสำเร็จในการปรับปรุง 12% ในการสร้างข้อมูลโค้ด Stripe API โดยใช้ graders ที่รับรู้ถึงไวยากรณ์และตรรกะการตรวจสอบ AST
• Milo: เพิ่มความถูกต้องในสถานการณ์การจัดตารางเวลาที่มีความซับซ้อนสูง 25 คะแนน
• SafetyKit: เพิ่ม Model F1 จาก 86% เป็น 90% ในการผลิตเพื่อบังคับใช้นโยบายการกลั่นกรองเนื้อหาที่ละเอียดอ่อน
• ChipStack, Thomson Reuters และพันธมิตรอื่นๆ: แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญในการสร้างข้อมูลที่มีโครงสร้าง งานเปรียบเทียบทางกฎหมาย และขั้นตอนการตรวจสอบ

การใช้งานที่ประสบความสำเร็จเหล่านี้มีลักษณะทั่วไป ได้แก่ คำจำกัดความของงานที่กำหนดไว้อย่างชัดเจน รูปแบบเอาต์พุตที่มีโครงสร้าง และเกณฑ์การประเมินที่เชื่อถือได้ องค์ประกอบเหล่านี้มีความสำคัญอย่างยิ่งต่อการปรับแต่งแบบ reinforcement fine-tuning ที่มีประสิทธิภาพและบรรลุผลลัพธ์ที่ดีที่สุด

การเข้าถึงและสิ่งจูงใจ

ปัจจุบัน RFT มีให้สำหรับองค์กรที่ได้รับการยืนยัน เพื่อให้มั่นใจว่าเทคโนโลยีถูกนำไปใช้อย่างมีความรับผิดชอบและมีประสิทธิภาพ เพื่อส่งเสริมการทำงานร่วมกันและการปรับปรุงอย่างต่อเนื่อง OpenAI เสนอส่วนลด 50% ให้กับทีมที่แบ่งปันชุดข้อมูลการฝึกอบรมกับ OpenAI

โครงสร้างการกำหนดราคาและการเรียกเก็บเงิน: ความโปร่งใสและการควบคุม

ต่างจากการปรับแต่งแบบ supervised หรือ preference fine-tuning ซึ่งเรียกเก็บเงินต่อโทเค็น RFT ใช้รูปแบบการเรียกเก็บเงินตามเวลา โดยเรียกเก็บเงินตามระยะเวลาของการฝึกอบรมที่ใช้งานอยู่

• เวลาฝึกอบรมหลัก: $100 ต่อชั่วโมงของเวลาฝึกอบรมหลัก (เวลา wall-clock ระหว่างการเปิดตัวแบบจำลอง การให้คะแนน การอัปเดต และการตรวจสอบความถูกต้อง)
• การเรียกเก็บเงินตามสัดส่วน: เวลาจะถูกปันส่วนตามวินาที ปัดเศษเป็นทศนิยมสองตำแหน่ง เพื่อให้มั่นใจว่าการเรียกเก็บเงินถูกต้องและยุติธรรม
• ค่าใช้จ่ายสำหรับการปรับเปลี่ยนแบบจำลอง: ค่าใช้จ่ายใช้กับการทำงานที่ปรับเปลี่ยนแบบจำลองโดยตรงเท่านั้น คิว การตรวจสอบความปลอดภัย และขั้นตอนการตั้งค่าที่ไม่ได้ใช้งานจะไม่ถูกเรียกเก็บเงิน
• ค่าใช้จ่าย Grader: หากใช้แบบจำลอง OpenAI เป็น graders (เช่น GPT-4.1) โทเค็นการอนุมานที่ใช้ระหว่างการให้คะแนนจะถูกเรียกเก็บเงินแยกต่างหากในอัตรา API มาตรฐานของ OpenAI หรือผู้ใช้สามารถใช้ประโยชน์จากแบบจำลองภายนอก รวมถึงตัวเลือกโอเพนซอร์ส เป็น graders ได้

ตัวอย่างการแบ่งต้นทุน

รูปแบบการกำหนดราคาที่โปร่งใสนี้ช่วยให้ผู้ใช้สามารถควบคุมต้นทุนและเพิ่มประสิทธิภาพกลยุทธ์การฝึกอบรมของตนได้ OpenAI แนะนำกลยุทธ์ต่อไปนี้สำหรับการจัดการต้นทุน:

• ใช้ Lightweight Graders: ใช้ graders ที่มีประสิทธิภาพเมื่อเป็นไปได้ เพื่อลดต้นทุนการคำนวณ
• เพิ่มประสิทธิภาพความถี่ในการตรวจสอบความถูกต้อง: หลีกเลี่ยงการตรวจสอบความถูกต้องมากเกินไป เว้นแต่จำเป็น เนื่องจากอาจส่งผลกระทบอย่างมากต่อเวลาในการฝึกอบรม
• เริ่มต้นเล็กๆ: เริ่มต้นด้วยชุดข้อมูลที่เล็กลงหรือการรันที่สั้นลง เพื่อปรับเทียบความคาดหวังและปรับแต่งพารามิเตอร์การฝึกอบรม
• ตรวจสอบและหยุดชั่วคราว: ตรวจสอบความคืบหน้าของการฝึกอบรมอย่างต่อเนื่องโดยใช้ API หรือเครื่องมือแดชบอร์ด และหยุดชั่วคราวตามความจำเป็น เพื่อหลีกเลี่ยงค่าใช้จ่ายที่ไม่จำเป็น

วิธีการเรียกเก็บเงินของ OpenAI หรือที่เรียกว่า "captured forward progress" ช่วยให้มั่นใจได้ว่าผู้ใช้จะถูกเรียกเก็บเงินเฉพาะขั้นตอนการฝึกอบรมแบบจำลองที่เสร็จสมบูรณ์และเก็บรักษาไว้เท่านั้น

RFT เป็นการลงทุนที่เหมาะสมสำหรับองค์กรของคุณหรือไม่

Reinforcement fine-tuning นำเสนอแนวทางที่แสดงออกและควบคุมได้มากขึ้นในการปรับแบบจำลองภาษาให้เข้ากับกรณีการใช้งานในโลกแห่งความเป็นจริง ด้วยการรองรับเอาต์พุตที่มีโครงสร้าง graders ที่ใช้โค้ดและแบบจำลอง และการควบคุม API ที่ครอบคลุม RFT ปลดล็อกระดับใหม่ของการปรับแต่งในการปรับใช้แบบจำลอง

สำหรับองค์กรที่ต้องการปรับแบบจำลองให้สอดคล้องกับเป้าหมายด้านการปฏิบัติงานหรือการปฏิบัติตามข้อกำหนด RFT นำเสนอโซลูชันที่น่าสนใจที่ช่วยลดความจำเป็นในการสร้างโครงสร้างพื้นฐานการเรียนรู้แบบ reinforcement learning ตั้งแต่เริ่มต้น ด้วยการออกแบบงานอย่างรอบคอบและใช้แนวทางการประเมินที่แข็งแกร่ง องค์กรสามารถใช้ประโยชน์จากพลังของ RFT เพื่อสร้างโซลูชัน AI ที่ปรับให้เข้ากับความต้องการและวัตถุประสงค์เฉพาะของตนได้อย่างแม่นยำ