การก้าวเข้าสู่ LLM ภาษาจีนดั้งเดิมของ Foxconn: การเปิดตัว FoxBrain
Foxconn ซึ่งเป็นชื่อที่พ้องกับผู้ผลิตอุปกรณ์อิเล็กทรอนิกส์ ได้กำหนดเส้นทางใหม่เข้าสู่อาณาจักรแห่งปัญญาประดิษฐ์ เมื่อเร็ว ๆ นี้ บริษัทได้เปิดตัว FoxBrain ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ (LLM) ที่ก้าวล้ำซึ่งออกแบบมาโดยเฉพาะสำหรับภาษาจีนดั้งเดิม นี่เป็นก้าวสำคัญที่ทำให้ Foxconn อยู่ในระดับแนวหน้าของภูมิทัศน์ AI ที่กำลังเติบโตของไต้หวัน FoxBrain สร้างขึ้นบนรากฐานที่แข็งแกร่งของสถาปัตยกรรม Llama 3.1 ของ Meta และใช้ประโยชน์จากพลังของ GPU ของ Nvidia ไม่ได้เป็นเพียงเครื่องมือภายในเท่านั้น แต่ยังเป็นเครื่องพิสูจน์ถึงความมุ่งมั่นของ Foxconn ในการสร้างสรรค์นวัตกรรมโอเพนซอร์ส
การขึ้นอย่างรวดเร็ว: การฝึกอบรมที่มีประสิทธิภาพและความเชี่ยวชาญเฉพาะภาษา
การพัฒนา FoxBrain เป็นเรื่องราวของประสิทธิภาพที่น่าทึ่ง ในเวลาเพียงสี่สัปดาห์ ทีมงานของ Foxconn ได้นำ LLM ที่ซับซ้อนนี้มาสู่ชีวิต วงจรการพัฒนาที่รวดเร็วนี้เน้นย้ำถึงแนวทางเชิงกลยุทธ์ที่มุ่งเน้นไปที่การเพิ่มประสิทธิภาพกระบวนการฝึกอบรม แทนที่จะเพียงแค่ทุ่มพลังการประมวลผลไปที่ปัญหา ดร. Yung-Hui Li ผู้อำนวยการศูนย์วิจัย AI ที่ Hon Hai Research Institute เน้นย้ำประเด็นนี้ โดยกล่าวว่า ‘แบบจำลอง FoxBrain ของเราใช้กลยุทธ์การฝึกอบรมที่มีประสิทธิภาพมาก โดยมุ่งเน้นไปที่การเพิ่มประสิทธิภาพกระบวนการฝึกอบรม แทนที่จะสะสมพลังการประมวลผลอย่างสุ่มสี่สุ่มห้า’
ประสิทธิภาพนี้ไม่ได้มาพร้อมกับความสามารถที่ลดลง FoxBrain ได้รับการปรับแต่งมาโดยเฉพาะสำหรับความแตกต่างของภาษาจีนดั้งเดิม แสดงให้เห็นถึงความสามารถในการให้เหตุผลที่แข็งแกร่งซึ่งปรับให้เหมาะสมสำหรับรูปแบบภาษาท้องถิ่น การมุ่งเน้นไปที่การแปลเป็นภาษาท้องถิ่นนี้มีความสำคัญอย่างยิ่ง ทำให้แบบจำลองสามารถเข้าใจและตอบสนองต่อความซับซ้อนของภาษาในแบบที่แบบจำลองทั่วไปอาจประสบปัญหา
นอกเหนือจากการใช้งานภายใน: วิสัยทัศน์โอเพนซอร์ส
แม้ว่าในตอนแรกจะถูกคิดค้นขึ้นเพื่อปรับปรุงการดำเนินงานภายในของ Foxconn ซึ่งครอบคลุมงานต่างๆ เช่น การวิเคราะห์ข้อมูล การสนับสนุนการตัดสินใจ การทำงานร่วมกันในเอกสาร และแม้แต่การสร้างโค้ด มันถูกออกแบบมาสำหรับคณิตศาสตร์ การให้เหตุผล และการแก้ปัญหา โชคชะตาของ FoxBrain ขยายไปไกลกว่ากำแพงของบริษัท Foxconn ได้ประกาศอย่างกล้าหาญถึงความตั้งใจที่จะเผยแพร่แบบจำลองนี้ในฐานะเทคโนโลยีโอเพนซอร์ส การเคลื่อนไหวนี้พร้อมที่จะทำให้การเข้าถึงความสามารถ AI ขั้นสูงเป็นประชาธิปไตย ช่วยให้นักพัฒนาและนักวิจัยทั่วไต้หวันและอาจไกลกว่านั้นสามารถใช้ประโยชน์จากศักยภาพของ FoxBrain ได้
ความมุ่งมั่นต่อโอเพนซอร์สนี้สอดคล้องกับแนวโน้มที่กว้างขึ้นในชุมชน AI โดยตระหนักว่าการทำงานร่วมกันและความรู้ที่แบ่งปันเป็นตัวขับเคลื่อนหลักของนวัตกรรม ด้วยการทำให้ FoxBrain พร้อมใช้งานสำหรับชุมชนในวงกว้าง Foxconn ไม่เพียงแต่มีส่วนช่วยในการพัฒนา AI เท่านั้น แต่ยังส่งเสริมจิตวิญญาณแห่งความก้าวหน้าร่วมกันอีกด้วย
พลังแห่งความร่วมมือ: การใช้ประโยชน์จากความเชี่ยวชาญของ Nvidia
การสร้าง FoxBrain เป็นความพยายามร่วมกัน โดย Nvidia มีบทบาทสำคัญ กระบวนการฝึกอบรมใช้ประโยชน์จากพลังของ Nvidia H100 GPU จำนวน 120 ตัว ซึ่งเชื่อมต่อถึงกันผ่านเทคโนโลยีเครือข่าย Quantum-2 InfiniBand ของ Nvidia การตั้งค่านี้ช่วยให้สามารถถ่ายโอนข้อมูลความเร็วสูง ซึ่งเป็นปัจจัยสำคัญในการฝึกอบรมแบบจำลองขนาดนี้อย่างมีประสิทธิภาพ
การสนับสนุนของ Nvidia ขยายไปไกลกว่าการจัดหาฮาร์ดแวร์ สิ่งอำนวยความสะดวก Supercomputer Taipei-1 ของบริษัทและการให้คำปรึกษาด้านเทคนิคมีส่วนสำคัญในการทำให้ Foxconn สามารถใช้เฟรมเวิร์ก NeMo ของ Nvidia ซึ่งเป็นชุดเครื่องมืออันทรงพลังสำหรับการสร้างและปรับแต่งแบบจำลอง AI ความร่วมมือนี้เป็นตัวอย่างการทำงานร่วมกันระหว่างความเชี่ยวชาญด้านฮาร์ดแวร์และซอฟต์แวร์ โดยเน้นย้ำถึงความสำคัญของการทำงานร่วมกันในการผลักดันขอบเขตของการพัฒนา AI
สร้างบนรากฐานที่มั่นคง: สถาปัตยกรรม Llama 3.1
สถาปัตยกรรมของ FoxBrain มีรากฐานมาจาก Llama 3.1 ของ Meta ซึ่งเป็นเครื่องพิสูจน์ถึงพลังของการทำงานร่วมกันแบบโอเพนซอร์ส รากฐานนี้มีเฟรมเวิร์กที่แข็งแกร่งและผ่านการทดสอบมาอย่างดี โดยมีพารามิเตอร์มากถึง 7 หมื่นล้านพารามิเตอร์ พารามิเตอร์เหล่านี้เป็นค่าที่ปรับได้ซึ่งระบบ AI จะปรับแต่งเมื่อเรียนรู้จากข้อมูล ซึ่งแสดงถึงความรู้สะสมของแบบจำลอง
การเลือก Llama 3.1 เป็นจุดเริ่มต้นสะท้อนให้เห็นถึงการตัดสินใจเชิงกลยุทธ์ในการใช้ประโยชน์จากเทคโนโลยีที่มีอยู่และได้รับการพิสูจน์แล้ว แทนที่จะสร้างสิ่งใหม่ทั้งหมด แนวทางนี้ช่วยให้ Foxconn มุ่งเน้นความพยายามในการปรับแต่งแบบจำลองให้ตรงตามความต้องการเฉพาะของภาษาจีนดั้งเดิม และเพิ่มประสิทธิภาพสำหรับการใช้งานตามวัตถุประสงค์
เหนือกว่าคู่แข่ง: การเปรียบเทียบความสามารถของ FoxBrain
การทดสอบภายในของ Foxconn เปิดเผยว่า FoxBrain มีประสิทธิภาพเหนือกว่า Llama-3-Taiwan-70B ซึ่งเป็นแบบจำลองภาษาจีนดั้งเดิมอีกรุ่นหนึ่งที่มีขนาดใกล้เคียงกัน ในหลายหมวดหมู่หลัก ประสิทธิภาพที่เหนือกว่านี้เน้นย้ำถึงประสิทธิภาพของกลยุทธ์การฝึกอบรมของ Foxconn และการมุ่งเน้นไปที่การแปลเป็นภาษาท้องถิ่น
โดยเฉพาะอย่างยิ่ง FoxBrain แสดงให้เห็นถึงการปรับปรุงที่สำคัญในประสิทธิภาพทางคณิตศาสตร์เมื่อเทียบกับแบบจำลอง Meta Llama 3.1 พื้นฐาน ความสามารถทางคณิตศาสตร์ที่ได้รับการปรับปรุงนี้มีความเกี่ยวข้องอย่างยิ่งสำหรับการใช้งานในการผลิต การจัดการห่วงโซ่อุปทาน และสาขาอื่น ๆ ที่ต้องอาศัยการวิเคราะห์เชิงปริมาณ
เจาะลึกประสิทธิภาพ: เกณฑ์มาตรฐาน TMMLU+
เพื่อประเมินความสามารถของ FoxBrain อย่างเข้มงวด Foxconn ได้ใช้เกณฑ์มาตรฐาน TMMLU+ ซึ่งเป็นการทดสอบที่ครอบคลุมซึ่งวัดประสิทธิภาพในโดเมนความรู้ที่หลากหลาย ผลลัพธ์เน้นย้ำถึงจุดแข็งของ FoxBrain ในด้านคณิตศาสตร์และการให้เหตุผลเชิงตรรกะ ซึ่งเป็นการตรวจสอบศักยภาพสำหรับการใช้งานจริง
เกณฑ์มาตรฐาน TMMLU+ เป็นวิธีมาตรฐานในการเปรียบเทียบประสิทธิภาพของ FoxBrain กับแบบจำลองอื่น ๆ โดยนำเสนอภาพที่ชัดเจนของจุดแข็งและพื้นที่สำหรับการปรับปรุงที่เป็นไปได้ ความมุ่งมั่นในการประเมินตามวัตถุประสงค์นี้เน้นย้ำถึงความทุ่มเทของ Foxconn ในด้านความโปร่งใสและการปรับปรุงอย่างต่อเนื่อง
ศิลปะแห่งการเพิ่มข้อมูล: การขยายคลังข้อมูลการฝึกอบรม
องค์ประกอบสำคัญในความสำเร็จของ FoxBrain คือกลยุทธ์การเพิ่มข้อมูลที่ซับซ้อน ซึ่งเกี่ยวข้องกับการใช้เทคนิคเพื่อขยายและปรับปรุงข้อมูลการฝึกอบรม เพื่อให้แน่ใจว่าแบบจำลองได้สัมผัสกับรูปแบบภาษาที่หลากหลายและเป็นตัวแทน
ทีมงานของ Foxconn ได้พัฒนาวิธีการเพิ่มข้อมูลที่เป็นกรรมสิทธิ์ใน 24 หมวดหมู่หัวข้อที่แตกต่างกัน ส่งผลให้มีชุดข้อมูลก่อนการฝึกอบรมขนาดใหญ่ถึง 98 พันล้านโทเค็นสำหรับภาษาจีนดั้งเดิม โทเค็นแสดงถึงหน่วยของข้อความที่ระบบ AI ประมวลผล ซึ่งโดยทั่วไปประกอบด้วยคำหรือส่วนของคำ ชุดข้อมูลที่ครอบคลุมนี้มีความสำคัญอย่างยิ่งสำหรับการฝึกอบรมแบบจำลองที่สามารถเข้าใจและตอบสนองต่อความแตกต่างทางภาษาที่หลากหลาย
บริบทคือสิ่งสำคัญ: หน้าต่างกว้างสำหรับการทำความเข้าใจ
FoxBrain มีหน้าต่างบริบท 128,000 โทเค็น ความจุที่น่าประทับใจนี้กำหนดจำนวนข้อมูลที่แบบจำลองสามารถพิจารณาได้ในคราวเดียว ทำให้สามารถรักษาความตระหนักถึงประวัติการสนทนาหรือเนื้อหาเอกสารที่ครอบคลุม นี่เป็นข้อได้เปรียบที่สำคัญเมื่อเทียบกับแบบจำลองที่มีหน้าต่างบริบทขนาดเล็กกว่า ทำให้ FoxBrain สามารถเข้าใจบริบทที่กว้างขึ้นของการสนทนาหรือข้อความ นำไปสู่การตอบสนองที่สอดคล้องกันและเกี่ยวข้องมากขึ้น
หน้าต่างบริบทที่ใหญ่ขึ้นมีประโยชน์อย่างยิ่งสำหรับงานที่ต้องทำความเข้าใจความสัมพันธ์ที่ซับซ้อนระหว่างส่วนต่างๆ ของข้อความ เช่น การสรุปเอกสารที่มีความยาว หรือการตอบคำถามที่ต้องรวบรวมข้อมูลจากหลายแหล่ง
นวัตกรรมหลัก: สรุปความสำเร็จทางเทคนิค
การพัฒนา FoxBrain ของ Foxconn มีจุดเด่นด้วยนวัตกรรมหลักหลายประการ:
- การเพิ่มข้อมูลที่เป็นกรรมสิทธิ์: การสร้างเทคนิคการเพิ่มข้อมูลและการประเมินคุณภาพที่ไม่เหมือนใครสำหรับ 24 หมวดหมู่หัวข้อช่วยเพิ่มคุณค่าให้กับข้อมูลการฝึกอบรมอย่างมาก
- การใช้ GPU อย่างมีประสิทธิภาพ: แบบจำลองได้รับการฝึกอบรมโดยใช้ Nvidia H100 GPU จำนวน 120 ตัว เป็นเวลาทั้งหมด 2,688 วัน GPU ซึ่งแสดงให้เห็นถึงการใช้ทรัพยากรการประมวลผลอย่างมีประสิทธิภาพสูง
- การฝึกอบรมแบบขนานหลายโหนด: มีการใช้เฟรมเวิร์กการฝึกอบรมแบบขนานหลายโหนดเพื่อให้มั่นใจถึงประสิทธิภาพสูงสุดและความเสถียรของระบบ ทำให้แบบจำลองสามารถปรับขนาดได้อย่างมีประสิทธิภาพ
- Adaptive Reasoning Reflection: มีการนำวิธีการ Adaptive Reasoning Reflection ที่เป็นนวัตกรรมใหม่มาใช้เพื่อเพิ่มความสามารถในการให้เหตุผลแบบอิสระของแบบจำลอง ทำให้สามารถเรียนรู้และปรับปรุงทักษะการให้เหตุผลเมื่อเวลาผ่านไป
มองอนาคต: การปรับปรุงอย่างต่อเนื่องและการทำงานร่วมกัน
ดร. Yung-Hui Li ยอมรับว่าในขณะที่ FoxBrain แสดงให้เห็นถึงประสิทธิภาพที่น่าประทับใจ แต่ก็ยังมีช่องว่างสำหรับการเติบโต เขาตั้งข้อสังเกตถึงช่องว่างด้านประสิทธิภาพเมื่อเทียบกับแบบจำลองการกลั่นของ DeepSeek ซึ่งเป็นระบบ AI อีกระบบหนึ่งที่มุ่งเน้นไปที่การถ่ายโอนความรู้อย่างมีประสิทธิภาพ อย่างไรก็ตาม เขาเน้นย้ำว่าประสิทธิภาพของ FoxBrain ใกล้เคียงกับ ‘มาตรฐานชั้นนำระดับโลก’
ความมุ่งมั่นในการปรับปรุงอย่างต่อเนื่องนี้เป็นจุดเด่นของแนวทางของ Foxconn บริษัทวางแผนที่จะปรับปรุง FoxBrain อย่างต่อเนื่อง สำรวจเทคนิคใหม่ ๆ และใช้ประโยชน์จากข้อเสนอแนะจากชุมชนโอเพนซอร์สเพื่อเพิ่มขีดความสามารถต่อไป
การขยายขอบเขต: แอปพลิเคชันการทำงานร่วมกัน
แม้ว่าในตอนแรกจะได้รับการออกแบบมาเพื่อใช้ภายใน แต่ Foxconn มองเห็นอนาคตที่ความสามารถของ FoxBrain จะขยายไปไกลกว่าการดำเนินงานของตนเอง บริษัทวางแผนที่จะทำงานร่วมกับพันธมิตรด้านเทคโนโลยีอย่างแข็งขันเพื่อสำรวจแอปพลิเคชันใหม่ ๆ และส่งเสริมการใช้ AI ในการผลิต การจัดการห่วงโซ่อุปทาน และกระบวนการตัดสินใจ
แนวทางการทำงานร่วมกันนี้สอดคล้องกับปรัชญาโอเพนซอร์สของ Foxconn โดยตระหนักว่าศักยภาพที่แท้จริงของ AI สามารถปลดล็อกได้ผ่านความรู้ที่แบ่งปันและความพยายามร่วมกันเท่านั้น ด้วยการเป็นพันธมิตรกับองค์กรอื่น ๆ Foxconn มีเป้าหมายที่จะเร่งการนำ AI มาใช้และขับเคลื่อนนวัตกรรมในอุตสาหกรรมต่างๆ
การแสดงนวัตกรรม: การนำเสนอในงาน Nvidia GTC 2025
ความมุ่งมั่นของ Foxconn ในการแบ่งปันความก้าวหน้ากับชุมชน AI ในวงกว้างได้รับการแสดงให้เห็นเพิ่มเติมจากการนำเสนอที่วางแผนไว้ในงาน Nvidia GTC 2025 เซสชันชื่อ ‘From Open Source to Frontier AI: Build, Customize and Extend Foundation Models’ จะเป็นเวทีในการแสดงการพัฒนาของ FoxBrain และหารือเกี่ยวกับผลกระทบที่กว้างขึ้นของ AI แบบโอเพนซอร์ส
การนำเสนอนี้เน้นย้ำถึงความมุ่งมั่นของ Foxconn ในด้านความโปร่งใสและความปรารถนาที่จะมีส่วนร่วมในการสนทนาอย่างต่อเนื่องเกี่ยวกับอนาคตของ AI ด้วยการแบ่งปันประสบการณ์และข้อมูลเชิงลึก Foxconn มีเป้าหมายที่จะสร้างแรงบันดาลใจให้เกิดนวัตกรรมและการทำงานร่วมกันเพิ่มเติมภายในชุมชน AI การนำเสนอเกิดขึ้นเมื่อวันที่ 20 มีนาคม