ถอดรหัสกรอบการฝึกอบรม SASR ของ Goku
Shanghai Goku Technologies ซึ่งก่อตั้งขึ้นในปี 2015 ได้เปิดตัวกรอบการฝึกอบรม AI ที่แปลกใหม่ชื่อ SASR หรือการฝึกอบรมแบบไฮบริดแบบปรับตัวทีละขั้น วิธีการนี้มีจุดมุ่งหมายเพื่อจัดการกับข้อจำกัดที่รับรู้ของวิธีการที่แพร่หลาย เช่น การปรับแต่งอย่างละเอียดภายใต้การดูแล (SFT) และการเรียนรู้แบบเสริมกำลัง (RL) Goku แย้งว่า SASR ซึ่งได้รับแรงบันดาลใจจากวิธีที่มนุษย์พัฒนาทักษะการให้เหตุผล นำเสนอเส้นทางที่ปรับเปลี่ยนได้และมีประสิทธิภาพมากขึ้นในการสร้างแบบจำลอง AI ขั้นสูง
SFT และ RL ถือเป็นรากฐานสำคัญในกระบวนการฝึกอบรม AI ซึ่งใช้โดยยักษ์ใหญ่ในอุตสาหกรรมอย่าง OpenAI และ DeepSeek DeepSeek ได้เน้นย้ำถึงบทบาทสำคัญของเทคนิคเหล่านี้ในการเพิ่มประสิทธิภาพของโมเดล V3 ซึ่งเปิดตัวในเดือนธันวาคมและจุดประกายความสนใจอย่างมากในภาคเทคโนโลยี
จากเอกสารการวิจัยของ Goku ซึ่งเขียนร่วมกับนักวิจัยจาก Shanghai Jiao Tong University และบริษัทในเครือ AI ที่เพิ่งจัดตั้งขึ้นใหม่ Shanghai AllMind Artificial Intelligence Technology SASR แสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าเมื่อเทียบกับ SFT, RL และวิธีการฝึกอบรมแบบไฮบริดแบบคงที่ "ผลการทดลองแสดงให้เห็นว่า SASR มีประสิทธิภาพเหนือกว่าวิธีการฝึกอบรมแบบไฮบริดแบบ SFT, RL และแบบคงที่" ทีม Goku กล่าวยืนยันในเอกสารการวิจัยของพวกเขา
ผลกระทบจากความก้าวหน้าของ Goku
ความก้าวหน้าในการฝึกอบรม AI ของ Goku รายงานว่าขีดเส้นใต้ความคืบหน้าอย่างต่อเนื่องของจีนในด้าน AI อาจเน้นถึงข้อจำกัดของนโยบายปัจจุบันที่ดำเนินการโดยรัฐบาลสหรัฐฯ โดยตั้งใจที่จะขัดขวางความก้าวหน้าของ AI ของจีนผ่านข้อจำกัดด้านฮาร์ดแวร์ Jensen Huang ซีอีโอของ Nvidia ได้แสดงความคิดเห็นเมื่อเร็วๆ นี้เกี่ยวกับการรับรู้ถึงประสิทธิภาพของข้อจำกัดเหล่านี้ โดยระบุว่า "จีนมีนักพัฒนา AI 50 เปอร์เซ็นต์ของโลก"
DeepSeek สตาร์ทอัพ AI ของจีนที่เกิดขึ้นจากกองทุนเฮดจ์ฟันด์ High-Flyer ได้รับการยอมรับอย่างกว้างขวางในการแสดงศักยภาพของจีนในการเป็นผู้นำ AI ผ่านอัลกอริธึมขั้นสูงและการบูรณาการฮาร์ดแวร์และซอฟต์แวร์
บทบาทของ AllMind ในกลยุทธ์ AI ของ Goku
การก่อตั้ง AllMind ซึ่งเกิดขึ้นพร้อมกับการตีพิมพ์งานวิจัยของ Goku บ่งชี้ถึงการเคลื่อนไหวเชิงกลยุทธ์ในการอุทิศทรัพยากรให้กับการวิจัยและพัฒนา AI บันทึกการจดทะเบียนธุรกิจของจีนระบุว่า AllMind ได้รับการจดทะเบียนอย่างเป็นทางการในวันเดียวกับที่ Goku เผยแพร่งานวิจัย
Wang Xiao ผู้ก่อตั้ง Goku และตัวแทนทางกฎหมายของ AllMind กล่าวว่าหน่วยงานใหม่นี้ถูกสร้างขึ้นเพื่อสำรวจขอบเขต AI ใหม่ นี่เป็นภาพสะท้อนแนวทางที่ High-Flyer ใช้ ซึ่งก่อตั้ง DeepSeek เป็นหน่วยงานแยกต่างหากในปี 2023
ณ สิ้นปีที่แล้ว Goku บริหารจัดการสินทรัพย์ทั้งในประเทศและต่างประเทศมากกว่า 15 พันล้านหยวน (ประมาณ 2.1 พันล้านดอลลาร์สหรัฐ) โดยใช้กลยุทธ์ที่ขับเคลื่อนด้วย AI ตามข้อมูลที่มีอยู่ในเว็บไซต์อย่างเป็นทางการ
เจาะลึก SASR: กรอบการฝึกอบรมแบบไฮบริดแบบปรับตัวทีละขั้น
กรอบงาน SASR ของ Goku นำเสนอทางเลือกที่น่าสนใจในภูมิทัศน์ของการฝึกอบรมแบบจำลอง AI เพื่อให้เข้าใจถึงผลกระทบที่อาจเกิดขึ้นอย่างแท้จริง จำเป็นอย่างยิ่งที่จะต้องมีความเข้าใจในรายละเอียดเพิ่มเติมเกี่ยวกับส่วนประกอบและการทำงานของกรอบงาน
แง่มุม "ทีละขั้น" ของ SASR หมายถึงกระบวนการฝึกอบรมหลายขั้นตอนที่แบบจำลอง AI ได้รับการปรับปรุงอย่างต่อเนื่อง แต่ละขั้นตอนมักเกี่ยวข้องกับวัตถุประสงค์เฉพาะและใช้ข้อมูลการฝึกอบรมที่แตกต่างกันเพื่อบ่มเพาะความสามารถเฉพาะภายในแบบจำลอง แนวทางที่แบ่งเป็นระยะนี้สามารถให้ประโยชน์ เช่น การลดความท้าทายในการฝึกอบรมแบบจำลองที่ซับซ้อนตั้งแต่เริ่มต้น และอนุญาตให้มีการเพิ่มประสิทธิภาพที่ปรับแต่งได้ในแต่ละขั้นตอน
องค์ประกอบ "ปรับตัวได้" ชี้ให้เห็นว่ากระบวนการฝึกอบรมไม่ได้คงที่ แต่ตอบสนองแบบไดนามิกต่อประสิทธิภาพและลักษณะของแบบจำลอง การปรับตัวนี้อาจเกี่ยวข้องกับการปรับไฮเปอร์พารามิเตอร์ การปรับเปลี่ยนการกระจายข้อมูลการฝึกอบรม หรือการถ่วงน้ำหนักแบบไดนามิกของการมีส่วนร่วมของวัตถุประสงค์การฝึกอบรมที่แตกต่างกัน กระบวนการปรับตัวช่วยให้ AI เรียนรู้และปรับปรุงได้อย่างมีประสิทธิภาพมากขึ้น
ลักษณะ "ไฮบริด" ของ SASR เผยให้เห็นว่าเป็นการรวมองค์ประกอบของวิธีการฝึกอบรมที่แตกต่างกัน นี่เป็นสิ่งสำคัญ เนื่องจากมีจุดแข็งและจุดอ่อนใน SFT และ RL การผสมผสานวิธีการช่วยให้แบบจำลองใช้ประโยชน์จากประโยชน์ของแต่ละแนวทางในขณะที่จัดการกับข้อจำกัด By integrating these three characteristics, SARS is in theory better tuned to developing logic and reasoning.
การเปรียบเทียบ SASR กับวิธีการดั้งเดิม
Supervised fine-tuning (SFT) โดยทั่วไปอาศัยชุดข้อมูลขนาดใหญ่ที่มีป้ายกำกับ ซึ่งแบบจำลอง AI เรียนรู้ที่จะจับคู่ข้อมูลป้อนเข้ากับผลลัพธ์ที่ต้องการ Reinforcement learning (RL) เกี่ยวข้องกับการฝึกอบรมแบบจำลองผ่านการลองผิดลองถูก การให้รางวัลหรือลงโทษการกระทำเพื่อเพิ่มวัตถุประสงค์เฉพาะให้สูงสุด
SASR พยายามที่จะบูรณาการทั้งสองในขณะที่เอาชนะข้อจำกัดของแต่ละวิธี ตัวอย่างเช่น SFT อาจขึ้นอยู่กับคุณภาพและความครอบคลุมของข้อมูลที่มีป้ายกำกับอย่างมาก ในสถานการณ์จริงหลายแห่ง การได้รับข้อมูลที่เพียงพอและแม่นยำอาจใช้เวลานานและมีราคาแพง RL ในขณะที่ไม่ต้องการข้อมูลที่มีป้ายกำกับ อาจไม่เสถียรและมีแนวโน้มที่จะถูกแฮกรางวัล การแฮกรางวัลเกิดขึ้นเมื่อแบบจำลอง AI ค้นพบวิธีที่ไม่ตั้งใจในการเพิ่มรางวัลให้สูงสุด ซึ่งอาจนำไปสู่พฤติกรรมที่ไม่พึงประสงค์
กรอบงานของ Goku มีความเป็นไปได้ในการปรับปรุงข้อจำกัดของ SFT และ RL อย่างไรก็ตาม จำเป็นต้องมีการทดสอบเพิ่มเติมและต่อเนื่องเพื่อตรวจสอบผลลัพธ์เริ่มต้นที่บันทึกไว้ในเอกสารของบริษัท
นวัตกรรมอัลกอริทึมและข้อจำกัดด้านฮาร์ดแวร์
ข่าวเกี่ยวกับกรอบงาน SASR ของ Goku มีความเกี่ยวข้องอย่างยิ่งในบริบทของความสัมพันธ์ด้านเทคโนโลยีระหว่างสหรัฐฯ และจีน เป็นเวลานานที่รัฐบาลสหรัฐฯ พยายามที่จะลดบทบาทของจีนในด้าน AI โดยจำกัดการเข้าถึงฮาร์ดแวร์คอมพิวเตอร์ขั้นสูง โดยเฉพาะอย่างยิ่ง GPU ระดับไฮเอนด์จากบริษัทต่างๆ เช่น Nvidia แนวคิดเบื้องหลังข้อจำกัดเหล่านี้คือการจำกัดการเข้าถึงฮาร์ดแวร์ที่ทรงพลังของจีนจะชะลอความพยายามในการพัฒนา AI
อย่างไรก็ตาม ความคิดเห็นของ Jensen Huang ซีอีโอของ Nvidia และความก้าวหน้าที่เกิดขึ้นจากห้องปฏิบัติการ AI ของจีนดูเหมือนจะบ่งชี้ว่านโยบายเหล่านี้อาจไม่ได้ผลตามที่ตั้งใจไว้ Huang ได้กล่าวไว้ว่าจีนมีสัดส่วนที่สำคัญของความสามารถของนักพัฒนา AI ทั่วโลก และการจำกัดการเข้าถึงฮาร์ดแวร์อาจกระตุ้นให้พวกเขาค้นหาทางเลือกอื่น
ความก้าวหน้าของ AI ที่อ้างสิทธิ์โดย Goku ชี้ให้เห็นว่านวัตกรรมอัลกอริทึมสามารถชดเชยข้อจำกัดด้านฮาร์ดแวร์ได้ในระดับหนึ่ง หากนักวิจัยจีนสามารถพัฒนาอัลกอริธึมการฝึกอบรมที่มีประสิทธิภาพมากขึ้น พวกเขาอาจสามารถบรรลุประสิทธิภาพ AI ที่เทียบเคียงได้ด้วยฮาร์ดแวร์ที่ทรงพลังน้อยกว่า สิ่งนี้อาจมีผลกระทบอย่างมีนัยสำคัญต่อภูมิทัศน์ AI ทั่วโลก เนื่องจากแสดงให้เห็นว่าจีนอาจสามารถพัฒนาขีดความสามารถ AI ต่อไปได้แม้จะมีข้อจำกัดอย่างต่อเนื่อง
นี่ไม่ได้หมายความว่าฮาร์ดแวร์ไม่เกี่ยวข้อง GPU ขั้นสูงยังคงมีความสำคัญอย่างยิ่งต่อการฝึกอบรมแบบจำลอง AI ที่ล้ำสมัย และการเข้าถึงฮาร์ดแวร์ล่าสุดมอบความได้เปรียบในการแข่งขันที่สำคัญอย่างไม่ต้องสงสัย อย่างไรก็ตาม งานของ Goku แสดงให้เห็นถึงความสำคัญของการลงทุนทั้งในฮาร์ดแวร์และซอฟต์แวร์ และความก้าวหน้าในด้านหนึ่งสามารถชดเชยข้อจำกัดในอีกด้านหนึ่งได้
การเติบโตของ AI จีน: เหนือกว่า DeepSeek
การเกิดขึ้นของ DeepSeek ในฐานะผู้เล่นที่โดดเด่นในเวที AI เป็นตัวเร่งปฏิกิริยา ซึ่งแสดงให้เห็นถึงความมุ่งมั่นของจีนที่จะเป็นผู้นำระดับโลกในเทคโนโลยีการเปลี่ยนแปลงนี้ อย่างไรก็ตาม DeepSeek เป็นเพียงตัวอย่างหนึ่ง และการเติบโตของ Goku ด้วยกรอบการฝึกอบรม SASR แสดงให้เห็นถึงความแข็งแกร่งและนวัตกรรมที่เพิ่มขึ้นภายในระบบนิเวศ AI ของจีน
มีหลายปัจจัยที่เอื้อต่อแรงผลักดันนี้ ประการแรก จีนมีแหล่งข้อมูลจำนวนมหาศาล ซึ่งจำเป็นสำหรับการฝึกอบรมแบบจำลอง AI ด้วยจำนวนประชากรจำนวนมากและการนำเทคโนโลยีดิจิทัลมาใช้อย่างแพร่หลาย บริษัทจีนจึงสามารถเข้าถึงชุดข้อมูลขนาดใหญ่ที่สามารถใช้เพื่อพัฒนาและปรับปรุงอัลกอริทึม AI ได้
ประการที่สอง จีนให้ความสำคัญกับการศึกษา STEM อย่างมาก โดยผลิตวิศวกรและนักวิทยาศาสตร์ที่มีความสามารถจำนวนมาก สิ่งนี้ได้สร้างแรงงานที่มีทักษะสูงซึ่งสามารถขับเคลื่อนนวัตกรรมในด้าน AI และสาขาที่เกี่ยวข้อง
ประการที่สาม รัฐบาลจีนได้ให้ความสำคัญเชิงกลยุทธ์กับ AI โดยให้เงินทุนและการสนับสนุนจำนวนมากสำหรับการวิจัยและพัฒนา สิ่งนี้ได้สร้างสภาพแวดล้อมที่อุดมสมบูรณ์สำหรับสตาร์ทอัพ AI และส่งเสริมความร่วมมือระหว่างสถาบันการศึกษาและอุตสาหกรรม
สุดท้าย บริษัทจีนมักจะเต็มใจที่จะใช้วิธีการที่ใช้งานได้จริงและการกล้าเสี่ยงมากขึ้นในด้านนวัตกรรม ซึ่งช่วยให้พวกเขาสามารถเคลื่อนไหวได้อย่างรวดเร็วและทดลองกับแนวคิดใหม่ๆ
ด้วยผลจากปัจจัยเหล่านี้ จีนจึงตามทันสหรัฐฯ อย่างรวดเร็วในแง่ของขีดความสามารถ AI ในขณะที่สหรัฐฯ ยังคงเป็นผู้นำในบางด้าน เช่น การวิจัยพื้นฐานและฮาร์ดแวร์ระดับไฮเอนด์ จีนกำลังก้าวหน้าอย่างมากในด้านต่างๆ เช่น การมองเห็นด้วยคอมพิวเตอร์ การประมวลผลภาษาธรรมชาติ และหุ่นยนต์
การเกิดขึ้นของบริษัทต่างๆ เช่น Goku และ DeepSeek บ่งชี้ว่าจีนอยู่ในตำแหน่งที่ดีในการสานต่อการเติบโตในโดเมน AI ในอีกไม่กี่ปีข้างหน้า
Shanghai Goku Technologies: บริษัทที่อยู่เบื้องหลังนวัตกรรม
Shanghai Goku Technologies เป็นกองทุนซื้อขายเชิงปริมาณที่ก่อตั้งขึ้นในปี 2015 บริหารจัดการสินทรัพย์จำนวนมากโดยใช้กลยุทธ์ที่ขับเคลื่อนด้วย AI ภารกิจที่ระบุไว้ของบริษัทคือ "การรวมเทคโนโลยีและการวิเคราะห์พื้นฐาน" เพื่อให้ผลตอบแทนที่ดีขึ้นแก่ลูกค้า นอกเหนือจากธุรกิจหลักในการบริหารจัดการสินทรัพย์แล้ว Goku ยังได้แสดงให้เห็นถึงความมุ่งมั่นที่จะผลักดันขอบเขตของการวิจัย AI AllMind Artificial Intelligence Technology ซึ่งเป็นบริษัทในเครือ AI แสดงถึงการเคลื่อนไหวเชิงกลยุทธ์ในการทำให้เป็นทางการและเร่งความพยายามในการวิจัย AI
รายละเอียดเกี่ยวกับโครงสร้างภายในและพลวัตการดำเนินงานของบริษัทยังคงค่อนข้างหายาก อย่างไรก็ตาม แถลงการณ์ต่อสาธารณชนและกิจกรรมล่าสุดให้ข้อมูลเชิงลึกเกี่ยวกับแนวทางของบริษัท สโลแกนของบริษัทซึ่งแปลว่า "ตรรกะและความจริงเป็นหลักการเดียวที่เราปฏิบัติตาม" สะท้อนถึงวัฒนธรรมที่ขับเคลื่อนด้วยข้อมูลและการวิเคราะห์ การลงทุนในการวิจัยและพัฒนา AI บ่งชี้ถึงวิสัยทัศน์ระยะยาวและความตระหนักถึงศักยภาพในการเปลี่ยนแปลงของ AI ไม่เพียงแต่ภายในภาคการเงินเท่านั้น แต่ยังรวมถึงอุตสาหกรรมต่างๆ ด้วย เป็นไปได้ว่า Goku ตั้งใจที่จะใช้ประโยชน์จากข้อมูลเชิงลึกจากการวิจัย AI เพื่อปรับปรุงกลยุทธ์การซื้อขายและได้รับความได้เปรียบในการแข่งขันในตลาด