บทความนี้จะนำเสนอข้อมูลเชิงลึกจากบทสนทนาของ Jeff Dean และ Noam Shazeer เกี่ยวกับสถานะปัจจุบันและทิศทางในอนาคตของ AI รวมถึงความท้าทายและโอกาสในการพัฒนา AI ให้ก้าวหน้ายิ่งขึ้น
รุ่งอรุณแห่งวิวัฒนาการ AI: 25 ปี จาก PageRank สู่ AGI
Jeff Dean หัวหน้านักวิทยาศาสตร์คนปัจจุบันของ Google และ Noam Shazeer บุคคลสำคัญเบื้องหลัง Transformer model ซึ่งกลับมาร่วมงานกับ Google อีกครั้ง ได้ร่วมสนทนาที่ให้ความกระจ่างเกี่ยวกับวิวัฒนาการของ AI ตั้งแต่ยุคก่อตั้งของ MapReduce ไปจนถึงยุคแห่งการเปลี่ยนแปลงของสถาปัตยกรรม Transformer และ MoE โดยมี Dwarkesh Patel เป็นผู้ดำเนินรายการ
ผู้คร่ำหวอดทั้งสองท่านนี้ มีประสบการณ์รวมกันหลายทศวรรษที่ Google ไม่เพียงแต่เป็นสักขีพยาน แต่ยังเป็นผู้มีบทบาทสำคัญในการกำหนดเทคโนโลยีที่สำคัญของอินเทอร์เน็ตและปัญญาประดิษฐ์ ที่น่าขำก็คือ Shazeer สารภาพว่าแรงจูงใจเริ่มต้นของเขาในการเข้าร่วม Google คือการแสวงหาผลประโยชน์ทางการเงินระยะสั้น ซึ่งแผนการนั้นถูกพลิกผันอย่างมากจากการมีส่วนร่วมในสาขา AI ในเวลาต่อมา
สถานะปัจจุบันและทิศทางในอนาคตของ AI Compute
ในการสนทนาที่ยาวนานกว่าสองชั่วโมง Dean และ Shazeer ได้เปิดเผยข้อมูลเชิงลึกเกี่ยวกับสถานะปัจจุบันของ AI compute โดยเปิดเผยว่า:
- ขนาดของการดำเนินงานได้ก้าวข้ามศูนย์ข้อมูลแต่ละแห่งไปแล้ว การฝึกอบรม Gemini ในปัจจุบันครอบคลุมศูนย์ข้อมูลหลายแห่งในเขตเมืองต่างๆ โดยดำเนินการแบบอะซิงโครนัส
- ยังมีช่องว่างสำหรับการเติบโตอย่างมากในการปรับขนาด inference compute เนื่องจากการโต้ตอบกับ AI ยังคงคุ้มค่ากว่าการอ่านแบบดั้งเดิมอย่างมาก
- สถาปัตยกรรมโมเดลในอนาคตได้รับการคาดการณ์ว่าจะเหนือกว่าความยืดหยุ่นของ MoE ซึ่งจะช่วยให้ทีมต่างๆ สามารถพัฒนาส่วนประกอบโมเดลต่างๆ ได้อย่างอิสระ
ข้อมูลเชิงลึกจากสนามรบ: Bug Bounties และสถาปัตยกรรมในอนาคต
การสนทนายังกระตุ้นความสนใจบนโซเชียลมีเดีย โดยผู้ใช้เน้นแนวคิดที่น่าสนใจ เช่น:
- ศักยภาพในการจัดเก็บโมเดล MoE ขนาดใหญ่ไว้ในหน่วยความจำ
- ประโยชน์ที่ไม่คาดฝันของข้อผิดพลาดในโค้ด ซึ่งเมื่อขนาดเพิ่มขึ้น อาจนำไปสู่การค้นพบที่ก้าวล้ำโดยไม่ได้ตั้งใจ
Dean ท้าทายแนวคิดที่ว่า AI compute มีราคาแพงเกินไป โดยการเปรียบเทียบต้นทุนของการอ่านหนังสือกับการโต้ตอบกับ AI เกี่ยวกับหนังสือเล่มเดียวกัน เขาได้ยกตัวอย่างที่น่าสนใจ:
โมเดลภาษาที่ทันสมัยที่สุดทำงานด้วยต้นทุนที่ต่ำอย่างน่าอัศจรรย์ ประมาณ $10^{-18}$ ต่อการดำเนินการ ซึ่งแปลว่าสามารถประมวลผลโทเค็นได้เป็นล้านโทเค็นในราคาเพียงหนึ่งดอลลาร์ ในทางตรงกันข้าม การซื้อหนังสือปกอ่อนจะให้โทเค็นเพียง 10,000 โทเค็นต่อดอลลาร์เท่านั้น
ความแตกต่างที่เห็นได้ชัดนี้ ซึ่งเป็นข้อได้เปรียบด้านต้นทุนที่มากกว่าร้อยเท่าสำหรับการโต้ตอบ AI ตอกย้ำถึงศักยภาพที่ยังไม่ได้ใช้ในการปรับปรุงความฉลาดของ AI ผ่านการเพิ่ม inference compute
จากมุมมองด้านโครงสร้างพื้นฐาน ความสำคัญที่เพิ่มขึ้นของการคำนวณในช่วง inference อาจปรับเปลี่ยนการวางแผนศูนย์ข้อมูล ซึ่งอาจจำเป็นต้องใช้ฮาร์ดแวร์ที่ออกแบบมาโดยเฉพาะสำหรับงาน inference ซึ่งคล้ายกับ TPUs รุ่นแรกของ Google ที่ออกแบบมาสำหรับ inference ในตอนแรกและต่อมาปรับให้เข้ากับการฝึกอบรม
การคำนวณแบบกระจายและอะซิงโครนัส: กระบวนทัศน์ใหม่
การเน้นที่ inference ที่เพิ่มขึ้นบ่งชี้ว่าการสื่อสารอย่างต่อเนื่องระหว่างศูนย์ข้อมูลอาจไม่จำเป็น ซึ่งอาจนำไปสู่รูปแบบการคำนวณแบบกระจายและอะซิงโครนัสมากขึ้น
Gemini 1.5 ได้เริ่มต้นเส้นทางนี้แล้ว โดยใช้ประโยชน์จากทรัพยากรการคำนวณในเมืองใหญ่หลายแห่ง เครือข่ายความเร็วสูงจะซิงโครไนซ์การคำนวณจากศูนย์ข้อมูลต่างๆ ทำให้สามารถฝึกอบรมในขนาดที่ไม่เคยมีมาก่อน สำหรับโมเดลขนาดใหญ่ ที่แต่ละขั้นตอนการฝึกอบรมอาจใช้เวลาหลายวินาที แม้แต่เวลาแฝงของเครือข่าย 50 มิลลิวินาทีก็แทบไม่มีผลกระทบ
ในขอบเขตของ inference ความไวต่อเวลาแฝงกลายเป็นข้อพิจารณาที่สำคัญ ในขณะที่การตอบสนองทันทีต้องการประสิทธิภาพเวลาแฝงต่ำที่ได้รับการปรับปรุงให้เหมาะสม งานที่ไม่เร่งด่วน เช่น การวิเคราะห์บริบทที่ซับซ้อน สามารถทนต่อเวลาประมวลผลที่นานขึ้นได้
ระบบที่ปรับเปลี่ยนได้และมีประสิทธิภาพมากขึ้นสามารถจัดการงานหลายอย่างแบบอะซิงโครนัส ปรับปรุงประสิทธิภาพโดยรวมในขณะที่ลดเวลารอของผู้ใช้ นอกจากนี้ ความก้าวหน้าทางอัลกอริทึม เช่น การใช้โมเดลฉบับร่างขนาดเล็ก สามารถบรรเทาปัญหาคอขวดในกระบวนการ inference ได้ แนวทางนี้เกี่ยวข้องกับโมเดลขนาดเล็กที่สร้างโทเค็นที่มีศักยภาพ ซึ่งจะได้รับการตรวจสอบโดยโมเดลขนาดใหญ่ ซึ่งช่วยเร่งกระบวนการ inference อย่างมากผ่านการขนานกัน
Shazeer กล่าวเสริมว่าในระหว่างการฝึกอบรมแบบอะซิงโครนัส โมเดลจำลองแต่ละตัวจะทำงานอย่างอิสระ โดยส่งการอัปเดตการไล่ระดับสีไปยังระบบส่วนกลางสำหรับการใช้งานแบบอะซิงโครนัส แม้ว่าจะมีผลกระทบทางทฤษฎีของการผันผวนของพารามิเตอร์เล็กน้อย แต่วิธีนี้ได้รับการพิสูจน์แล้วว่าประสบความสำเร็จอย่างน่าทึ่ง
ในทางตรงกันข้าม การฝึกอบรมแบบซิงโครนัสให้ความเสถียรและความสามารถในการทำซ้ำ ซึ่งเป็นสิ่งที่นักวิจัยหลายคนชื่นชอบ เพื่อให้มั่นใจถึงความสามารถในการทำซ้ำในการฝึกอบรม Dean เน้นย้ำถึงแนวทางการ บันทึกการดำเนินการ โดยเฉพาะอย่างยิ่งการอัปเดตการไล่ระดับสีและการซิงโครไนซ์ชุดข้อมูล โดยการเล่นซ้ำบันทึกเหล่านี้ แม้แต่การฝึกอบรมแบบอะซิงโครนัสก็สามารถให้ผลลัพธ์ที่ทำซ้ำได้ ทำให้การดีบักง่ายขึ้นและลดความไม่สอดคล้องกันที่เกิดจากปัจจัยแวดล้อม
บทบาทแห่งความบังเอิญของข้อผิดพลาด
Shazeer ได้ขยายความในเรื่องนี้ โดยนำเสนอมุมมองที่น่าสนใจ:
ในขณะที่โมเดลการฝึกอบรมพบข้อผิดพลาดต่างๆ ความทนทานต่อสัญญาณรบกวนโดยธรรมชาติของโมเดลเหล่านี้ช่วยให้สามารถปรับตัวเองได้ ซึ่งนำไปสู่ผลลัพธ์ที่คาดไม่ถึง ข้อผิดพลาดบางอย่างยังให้ผลในเชิงบวก ซึ่งนำเสนอโอกาสในการปรับปรุงเมื่อขนาดขยายความผิดปกติในการทดลอง
เมื่อถูกถามเกี่ยวกับแนวทางการดีบัก Shazeer อธิบายถึงแนวทางปฏิบัติของพวกเขาในการทำการทดลองขนาดเล็กจำนวนมากเพื่อการตรวจสอบอย่างรวดเร็ว วิธีนี้ช่วยลดความซับซ้อนของฐานโค้ดและลดระยะเวลาการทดลองให้สั้นลงจากสัปดาห์เป็นชั่วโมง ซึ่งอำนวยความสะดวกในการตอบสนองและการปรับเปลี่ยนอย่างรวดเร็ว
Dean เห็นด้วย โดยสังเกตว่าการทดลองหลายครั้งที่มีผลลัพธ์ที่ไม่น่าพอใจในตอนแรก อาจให้ข้อมูลเชิงลึกที่สำคัญในภายหลัง อย่างไรก็ตาม นักวิจัยเผชิญกับความท้าทายของความซับซ้อนของโค้ด ในขณะที่การปรับปรุงทีละน้อยเป็นสิ่งจำเป็น แต่ก็ยังนำมาซึ่งความท้าทายด้านประสิทธิภาพและการบำรุงรักษา ซึ่งจำเป็นต้องสร้างสมดุลระหว่างความสะอาดของระบบและนวัตกรรม
โครงสร้างอินทรีย์ของโมเดลในอนาคต
Dean และ Shazeer มองเห็นการเปลี่ยนแปลงที่สำคัญในโมเดล AI จากโครงสร้างเสาหินไปสู่สถาปัตยกรรมแบบโมดูลาร์
โมเดลอย่าง Gemini 1.5 Pro ใช้สถาปัตยกรรม Mixture of Experts (MoE) อยู่แล้ว โดยเปิดใช้งานส่วนประกอบต่างๆ ตามงาน ตัวอย่างเช่น ปัญหาทางคณิตศาสตร์จะดึงดูดส่วนที่เชี่ยวชาญด้านคณิตศาสตร์ ในขณะที่การประมวลผลภาพจะเปิดใช้งานโมดูลเฉพาะที่เกี่ยวข้อง
อย่างไรก็ตาม โครงสร้างโมเดลในปัจจุบันยังคงค่อนข้างแข็งแกร่ง โดยโมดูลผู้เชี่ยวชาญมีขนาดเท่ากันและขาดความยืดหยุ่น Dean เสนอวิสัยทัศน์ที่มองการณ์ไกลมากขึ้น โมเดลในอนาคตควรนำโครงสร้างอินทรีย์มาใช้ ทำให้ทีมต่างๆ สามารถพัฒนาหรือปรับปรุงส่วนต่างๆ ของโมเดลได้อย่างอิสระ
ตัวอย่างเช่น ทีมที่เชี่ยวชาญด้านภาษาเอเชียตะวันออกเฉียงใต้สามารถปรับแต่งโมดูลที่เกี่ยวข้อง ในขณะที่อีกทีมหนึ่งมุ่งเน้นไปที่การปรับปรุงความเข้าใจโค้ด แนวทางแบบโมดูลาร์นี้ไม่เพียงแต่เพิ่มประสิทธิภาพการพัฒนา แต่ยังช่วยให้ทีมงานทั่วโลกสามารถมีส่วนร่วมในการพัฒนาโมเดลได้
ในทางเทคนิค โมเดลสามารถปรับปรุงโมดูลแต่ละโมดูลอย่างต่อเนื่องผ่านการกลั่น นี่เกี่ยวข้องกับการย่อโมดูลขนาดใหญ่ที่มีประสิทธิภาพสูงให้เป็นเวอร์ชันที่เล็กลงและมีประสิทธิภาพ ซึ่งจะเรียนรู้ความรู้ใหม่อย่างต่อเนื่อง
เราเตอร์สามารถเลือกเวอร์ชันโมดูลที่เหมาะสมตามความซับซ้อนของงาน โดยสร้างสมดุลระหว่างประสิทธิภาพและประสิทธิผล ซึ่งเป็นแนวคิดหลักของสถาปัตยกรรม Pathway ของ Google
สถาปัตยกรรมใหม่นี้ต้องการโครงสร้างพื้นฐานที่แข็งแกร่ง รวมถึงคลัสเตอร์ TPU ที่ทรงพลังและหน่วยความจำแบนด์วิดท์สูง (HBM) แม้ว่าแต่ละการเรียกอาจใช้เพียงเศษเสี้ยวของพารามิเตอร์ของโมเดล แต่ทั้งระบบจำเป็นต้องเก็บโมเดลทั้งหมดไว้ในหน่วยความจำเพื่อรองรับคำขอพร้อมกัน
โมเดลปัจจุบันสามารถแยกงานออกเป็น 10 งานย่อยด้วยอัตราความสำเร็จ 80% โมเดลในอนาคตอาจสามารถแบ่งงานออกเป็น 100 หรือ 1,000 งานย่อย โดยมีอัตราความสำเร็จ 90% หรือสูงกว่า
ช่วงเวลา “Holy Shit”: การจดจำแมวที่แม่นยำ
เมื่อมองย้อนกลับไป ปี 2007 เป็น เหตุการณ์สำคัญ สำหรับโมเดลภาษาขนาดใหญ่ (LLM)
ในเวลานั้น Google ได้ฝึกอบรมโมเดล N-gram โดยใช้โทเค็น 2 ล้านล้านโทเค็นสำหรับการแปลด้วยเครื่อง อย่างไรก็ตาม การพึ่งพาที่เก็บข้อมูลดิสก์สำหรับข้อมูล N-gram ส่งผลให้เกิดเวลาแฝงสูงเนื่องจากการ I/O ดิสก์ที่กว้างขวาง (เช่น การค้นหา 100,000 ครั้ง/คำ) ทำให้ใช้เวลา 12 ชั่วโมงในการแปลประโยคเดียว
เพื่อแก้ไขปัญหานี้ พวกเขาได้คิดค้นกลยุทธ์หลายอย่าง รวมถึงการบีบอัดหน่วยความจำ สถาปัตยกรรมแบบกระจาย และการปรับปรุง API การประมวลผลแบบแบตช์:
- การบีบอัดหน่วยความจำ: โหลดข้อมูล N-gram ทั้งหมดลงในหน่วยความจำเพื่อหลีกเลี่ยงการ I/O ดิสก์
- สถาปัตยกรรมแบบกระจาย: กระจายข้อมูลไปยังเครื่องหลายเครื่อง (เช่น 200 เครื่อง) สำหรับการสืบค้นแบบขนาน
- การปรับปรุง API การประมวลผลแบบแบตช์: ลดค่าใช้จ่ายต่อคำขอเพื่อปรับปรุงปริมาณงาน
ในช่วงเวลานี้ พลังการคำนวณเริ่มเป็นไปตามกฎของ Moore ซึ่งนำไปสู่การเติบโตแบบทวีคูณ
“ตั้งแต่ปลายปี 2008 ต้องขอบคุณกฎของ Moore ที่เครือข่ายประสาทเทียมเริ่มทำงานได้จริงๆ”
เมื่อถูกถามเกี่ยวกับช่วงเวลา “Holy shit” ซึ่งเป็นช่วงเวลาที่ไม่เชื่อว่าความพยายามในการวิจัยบางอย่างได้ผลจริง Jeff เล่าถึงโครงการของทีม Google ในช่วงแรกๆ ที่พวกเขาฝึกอบรมโมเดลเพื่อเรียนรู้คุณสมบัติระดับสูง (เช่น การจดจำแมวและคนเดินเท้า) จากเฟรมวิดีโอ YouTube ผ่าน การฝึกอบรมแบบกระจาย (2,000 เครื่อง, 16,000 คอร์) พวกเขาประสบความสำเร็จในการเรียนรู้แบบไม่มีผู้ดูแลขนาดใหญ่
หลังจากการฝึกอบรมล่วงหน้าแบบไม่มีผู้ดูแล ประสิทธิภาพของโมเดลในงานที่มีผู้ดูแล (ImageNet) ดีขึ้น 60% ซึ่งแสดงให้เห็นถึงศักยภาพของการ ฝึกอบรมขนาดใหญ่ และ การเรียนรู้แบบไม่มีผู้ดูแล
เมื่อกล่าวถึงว่า Google ยังคงเป็นบริษัทสืบค้นข้อมูลเป็นหลักหรือไม่ Jeff เน้นย้ำว่า:
“AI เติมเต็มพันธกิจดั้งเดิมของ Google”
โดยพื้นฐานแล้ว AI ไม่เพียงแต่ดึงข้อมูลเท่านั้น แต่ยังเข้าใจและสร้างเนื้อหาที่ซับซ้อน ซึ่งมีศักยภาพในอนาคตอันยิ่งใหญ่ สำหรับทิศทางในอนาคตของ Google “ผมไม่รู้”
อย่างไรก็ตาม เราสามารถคาดการณ์ว่าจะมีการรวม Google และโค้ดโอเพนซอร์สบางส่วนเข้ากับบริบทของนักพัฒนาทุกคน กล่าวอีกนัยหนึ่ง การทำให้โมเดลสามารถจัดการโทเค็นได้มากขึ้น การค้นหาภายใน Search จะช่วยเพิ่มความสามารถและประโยชน์ใช้สอยของโมเดล
แนวคิดนี้กำลังได้รับการทดลองภายใน Google อยู่แล้ว
“ในความเป็นจริง เราได้ดำเนินการฝึกอบรมเพิ่มเติมเกี่ยวกับโมเดล Gemini สำหรับนักพัฒนาภายในบนฐานโค้ดภายในของเรา”
กล่าวอย่างแม่นยำยิ่งขึ้น Google ประสบความสำเร็จในการบรรลุเป้าหมาย 25% ของโค้ดที่เขียนโดย AI ภายใน
ช่วงเวลาที่มีความสุขที่สุดที่ Google
ที่น่าสนใจคือ ทั้งคู่ยังได้แบ่งปัน ประสบการณ์ที่น่าสนใจยิ่งขึ้นที่เกี่ยวข้องกับ Google
สำหรับ Noam ในปี 1999 การเข้าร่วมบริษัทขนาดใหญ่อย่าง Google นั้นไม่น่าดึงดูดในตอนแรก เนื่องจากเขารู้สึกว่าทักษะของเขาอาจถูกใช้อย่างไม่เต็มที่ อย่างไรก็ตาม หลังจากเห็นแผนภูมิดัชนีปริมาณการค้นหารายวันของ Google เขาก็เปลี่ยนใจอย่างรวดเร็ว:
“คนเหล่านี้จะต้องประสบความสำเร็จอย่างแน่นอน และดูเหมือนว่าพวกเขามีปัญหาที่น่าสนใจมากมายให้แก้ไข”
เขาเข้าร่วมด้วยความตั้งใจ “เล็กน้อย” ที่เฉพาะเจาะจง:
“หาเงินแล้วไล่ตามความสนใจด้านการวิจัย AI ของตัวเองอย่างมีความสุข”
เมื่อเข้าร่วม Google เขาได้พบกับ Jeff ผู้เป็นที่ปรึกษาของเขา (พนักงานใหม่จะได้รับมอบหมายให้เป็นที่ปรึกษา) และพวกเขาร่วมมือกันในหลายโครงการ
ณ จุดนี้ Jeff แทรกแซงด้วยความชื่นชม Google ของเขาเอง:
“ผมชอบคำสั่งที่กว้างขวางของ Google สำหรับวิสัยทัศน์ RM (Responsive and Multimodal) แม้ว่าจะเป็นทิศทางเดียว แต่เราก็สามารถทำโครงการเล็กๆ น้อยๆ ได้มากมาย”
สิ่งนี้ยังให้ Noam มีอิสระที่นำพาคนที่วางแผนจะ “ตีแล้วหนี” ในตอนแรกให้อยู่ต่อในระยะยาว
ในขณะเดียวกัน เมื่อหัวข้อเปลี่ยนไปที่ Jeff วิทยานิพนธ์ระดับปริญญาตรีของเขาเกี่ยวกับ parallel backpropagation ก็ถูกนำกลับมาพิจารณาใหม่
บทความ 8 หน้านี้กลายเป็นวิทยานิพนธ์ระดับปริญญาตรีอันดับต้นๆ ของปี 1990 และได้รับการเก็บรักษาไว้ในห้องสมุดของมหาวิทยาลัยมินนิโซตา ในนั้น Jeff ได้สำรวจสองวิธีสำหรับการฝึกอบรมเครือข่ายประสาทเทียมแบบขนานโดยอิงตาม backpropagation:
- แนวทาง Pattern-partitioned: แสดงเครือข่ายประสาทเทียมทั้งหมดบนแต่ละโปรเซสเซอร์ และแบ่งรูปแบบอินพุตระหว่างโปรเซสเซอร์ที่พร้อมใช้งาน
- แนวทาง Network-partitioned (แนวทาง pipelined): กระจายเซลล์ประสาทของเครือข่ายประสาทเทียมไปยังโปรเซสเซอร์ที่พร้อมใช้งาน สร้างวงแหวนการสื่อสาร คุณสมบัติผ่านไปตามท่อนี้ ซึ่งประมวลผลโดยเซลล์ประสาทบนแต่ละโปรเซสเซอร์
เขาได้ทดสอบวิธีการเหล่านี้ด้วยเครือข่ายประสาทเทียมที่มีขนาดต่างกันและข้อมูลอินพุตต่างๆ ผลลัพธ์แสดงให้เห็นว่าสำหรับแนวทาง Pattern-partitioned เครือข่ายที่ใหญ่ขึ้นและรูปแบบอินพุตที่มากขึ้นให้การเร่งความเร็วที่ดีขึ้น
สิ่งที่น่าสังเกตมากที่สุดคือบทความนี้เผยให้เห็นว่าเครือข่ายประสาทเทียม “ขนาดใหญ่” มีลักษณะอย่างไรในปี 1990:
“เครือข่ายประสาทเทียม 3 ชั้นที่มีเซลล์ประสาท 10, 21 และ 10 เซลล์ต่อชั้นถือว่าใหญ่มาก”
Jeff เล่าว่าเขาใช้โปรเซสเซอร์สูงสุด 32 ตัวสำหรับการทดสอบของเขา
(ในเวลานั้น เขาคงจินตนาการไม่ออกว่า 12 ปีต่อมา เขาพร้อมด้วย Andrew Ng, Quoc Le และคนอื่นๆ จะใช้คอร์ CPU 16,000 คอร์เพื่อระบุแมวจากข้อมูลจำนวนมาก)
อย่างไรก็ตาม Jeff ยอมรับว่าเพื่อให้ผลการวิจัยเหล่านี้มีประสิทธิภาพอย่างแท้จริง “เราต้องการพลังการประมวลผลมากกว่านั้นประมาณหนึ่งล้านเท่า”
ต่อมา พวกเขาได้พูดคุยถึงความเสี่ยงที่อาจเกิดขึ้นจาก AI โดยเฉพาะปัญหา feedback loop เมื่อ AI ทรงพลังอย่างยิ่ง กล่าวอีกนัยหนึ่ง AI สามารถเข้าสู่วงจรการเร่งความเร็วที่ควบคุมไม่ได้ (เช่น “intelligence explosion”) โดยการเขียนโค้ดหรือปรับปรุงอัลกอริทึมของตัวเอง
สิ่งนี้อาจนำไปสู่การที่ AI แซงหน้าการควบคุมของมนุษย์อย่างรวดเร็ว แม้กระทั่งการสร้างเวอร์ชันที่เป็นอันตราย ดังที่ผู้ดำเนินรายการกล่าวไว้ ลองจินตนาการถึง “โปรแกรมเมอร์ระดับท็อปล้านคนอย่าง Jeff ในที่สุดก็กลายเป็น Jeffs ที่ชั่วร้ายล้านคน”
(ชาวเน็ต): “ปลดล็อกฝันร้ายใหม่ ฮ่าๆ!”
สุดท้าย เมื่อหวนรำลึกถึง ช่วงเวลาที่มีความสุขที่สุดที่ Google ทั้งคู่ได้แบ่งปันความทรงจำของพวกเขา
สำหรับ Jeff ช่วงเวลาที่สนุกที่สุดในช่วงปีแรกๆ ของ Google คือการได้เห็นการเติบโตอย่างก้าวกระโดดของการเข้าชมการค้นหาของ Google
“การสร้างสิ่งที่เป็นประโยชน์ต่อผู้คน 2 พันล้านคนในปัจจุบันนั้นเหลือเชื่อมาก”
เมื่อเร็วๆ นี้ เขารู้สึกตื่นเต้นที่ได้สร้างสิ่งต่างๆ กับทีม Gemini ที่ผู้คนคงไม่เชื่อว่าจะเป็นไปได้แม้แต่เมื่อห้าปีที่แล้ว และเขามองเห็นว่าผลกระทบของโมเดลจะขยายตัวออกไปอีก
Noam สะท้อนประสบการณ์ที่คล้ายกันและความรู้สึกถึงพันธกิจ แม้กระทั่งกล่าวถึง “พื้นที่ครัวขนาดเล็ก” ของ Google อย่างชื่นชม
นี่คือพื้นที่พิเศษที่มีโต๊ะประมาณ 50 โต๊ะ ให้บริการกาแฟและของว่าง ซึ่งผู้คนสามารถพูดคุยและแลกเปลี่ยนความคิดเห็นได้อย่างอิสระ
เมื่อได้ยินเรื่องนี้ แม้แต่ Jeff ก็ยังแสดงท่าทีมีชีวิตชีวา (doge)