Tencent Perkenal Hunyuan-T1: Era Baru Penaakulan AI

Landskap Pengoptimuman Model Bahasa Besar yang Berkembang

Arena kecerdasan buatan sedang menyaksikan anjakan paradigma, terutamanya dalam peringkat penapisan selepas latihan awal model bahasa besar (LLM). Pembelajaran pengukuhan (RL), satu teknik canggih di mana model belajar melalui percubaan dan kesilapan yang dibimbing oleh ganjaran, telah muncul sebagai kuasa ampuh yang mendorong peningkatan prestasi yang ketara. Pendekatan ini telah beralih daripada rasa ingin tahu akademik kepada strategi asas bagi pembangun AI terkemuka. Keupayaan mengagumkan yang ditunjukkan oleh model seperti siri O OpenAI dan DeepSeek R1 yang terkenal berfungsi sebagai bukti kukuh, menekankan fungsi penting pembelajaran pengukuhan dalam mengasah output model, meningkatkan kemahiran menyelesaikan masalah, dan menyelaraskan tingkah laku AI dengan lebih rapat dengan jangkaan dan keutamaan manusia. Fasa pasca-latihan ini bukan lagi sekadar penalaan halus; ia adalah mengenai peningkatan asas kehebatan kognitif model.

Memperkenalkan Hunyuan-T1: Lonjakan dalam Keupayaan Pemikiran Mendalam

Berlatarbelakangkan kemajuan pesat ini, pasukan Hunyuan Tencent telah menandakan satu peristiwa penting. Awal tahun ini, pada pertengahan Februari, pasukan itu memberikan gambaran sekilas tentang kemajuan mereka dengan Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview). Diintegrasikan ke dalam aplikasi Tencent Yuanbao, model penaakulan awal ini, yang dibina di atas pangkalan Hunyuan berskala sederhana, menawarkan pengguna merasai keupayaan analitikal yang pantas dan mendalam.

Membina di atas asas itu, kami kini dengan bangganya mengumumkan pelancaran rasmi Hunyuan-T1, versi model pemikiran mendalam yang direalisasikan sepenuhnya dalam keluarga model besar Hunyuan. Ini bukan sekadar kemas kini tambahan; ia mewakili evolusi yang besar. Hunyuan-T1 memanfaatkan pangkalan pemikiran pantas TurboS, seni bina terobosan yang diperkenalkan oleh Tencent pada awal Mac. Apa yang menjadikan TurboS sangat ketara ialah perbezaannya sebagai model besar Campuran Pakar (MoE) Hibrid-Transformer-Mamba berskala ultra-besar yang pertama di dunia. Struktur hibrid inovatif ini menggabungkan kekuatan seni bina Transformer yang mantap dengan kecekapan dan kehebatan pengendalian jujukan model ruang keadaan Mamba yang lebih baharu. Melalui rejimen pasca-latihan yang meluas dan direka bentuk dengan teliti, fakulti penaakulan Hunyuan-T1 telah diperkuat secara dramatik, dan penjajarannya dengan keutamaan manusia yang bernuansa telah diperhalusi dengan ketara. Berbanding dengan pendahulunya dalam versi pratonton, Hunyuan-T1 rasmi menunjukkan peningkatan yang ketara secara menyeluruh, meletakkannya sebagai pesaing hebat di kalangan model besar penaakulan tinggi yang termaju dalam industri.

Kelebihan Seni Bina: Kuasa TurboS dan Mamba

Pilihan TurboS sebagai asas untuk Hunyuan-T1 memberikan kelebihan tersendiri, terutamanya apabila menangani tugas yang menuntut penaakulan mendalam dan berbilang langkah. Halangan kritikal dalam banyak model bahasa besar timbul apabila berurusan dengan dokumen yang luas atau perbualan yang panjang. Maklumat yang dibentangkan pada peringkat awal boleh menjadi cair atau hilang sepenuhnya apabila model memproses teks berikutnya, membawa kepada apa yang dikenali sebagai kehilangan konteks. Tambahan pula, mewujudkan hubungan antara titik yang dipisahkan oleh bahagian teks yang besar – kebergantungan maklumat jarak jauh – menimbulkan cabaran pengiraan yang ketara.

Seni bina yang menyokong Hunyuan-T1, yang diwarisi daripada TurboS, secara langsung menghadapi batasan ini. Reka bentuk intrinsiknya mengutamakan penangkapan teks panjang yang teguh, memastikan model mengekalkan pemahaman yang lebih kukuh terhadap keseluruhan input, dengan itu mengurangkan kehilangan konteks dan mengenal pasti hubungan penting merentasi jujukan lanjutan dengan lebih andal. Keupayaan ini penting untuk tugas penaakulan kompleks yang sering memerlukan sintesis maklumat yang tersebar di seluruh korpus teks yang besar.

Pusat kepada keupayaan yang dipertingkatkan ini ialah komponen seni bina Mamba. Mamba mewakili penyingkiran daripada mekanisme berasaskan perhatian semata-mata yang dominan dalam banyak model Transformer. Ia menggunakan pendekatan model ruang keadaan (SSM), yang dioptimumkan secara khusus untuk memproses jujukan panjang dengan kecekapan yang luar biasa. Faedah utama termasuk:

• Kerumitan Masa Linear: Tidak seperti kerumitan kuadratik mekanisme perhatian standard berkenaan dengan panjang jujukan, Mamba berskala secara linear. Ini menjadikan pemprosesan teks yang sangat panjang boleh dilaksanakan secara pengiraan tanpa permintaan sumber yang melampau.
• Pengiraan Cekap: Reka bentuk Mamba membolehkan pengiraan selari semasa latihan dan operasi berulang yang cekap semasa inferens. Ini diterjemahkan secara langsung kepada kelajuan pemprosesan yang lebih pantas.
• Pengurusan Keadaan Selektif: Model Mamba boleh mengekalkan atau melupakan maklumat secara selektif semasa memproses jujukan, meniru pendekatan yang lebih fokus kepada pengurusan konteks, yang penting untuk mengekalkan maklumat yang relevan dalam jarak jauh.

Akibatnya, TurboS, dan lanjutan daripadanya Hunyuan-T1, boleh menganalisis input yang panjang dengan berkesan sambil menggunakan sumber pengiraan yang jauh lebih sedikit berbanding model Transformer tradisional berskala serupa. Penanda aras dalaman menunjukkan bahawa di bawah keadaan penggunaan yang sama, Hunyuan-T1 mencapai kelajuan penyahkodan dua kali lebih pantas berbanding model setanding yang tidak mempunyai pengoptimuman Mamba, faktor penting untuk aplikasi dunia sebenar yang memerlukan respons tepat pada masanya.

Relau Pasca-Latihan: Menempa Kehebatan Penaakulan dengan Pembelajaran Pengukuhan

Peralihan daripada model asas TurboS kepada Hunyuan-T1 yang berkemampuan tinggi melibatkan fasa pasca-latihan yang besar dan tertumpu secara strategik. Menyedari peranan kritikal teknik pembelajaran lanjutan, Tencent mendedikasikan 96.7% sumber pengiraan yang luar biasa yang diperuntukkan untuk fasa ini khusus untuk latihan pembelajaran pengukuhan. Pelaburan besar ini menggariskan keutamaan strategik yang jelas: meningkatkan kebolehan penaakulan tulen model dan menyelaraskan outputnya dengan teliti dengan pertimbangan dan keutamaan manusia yang kompleks.

Ini bukan sekadar memberi makan model dengan lebih banyak data; ia adalah mengenai mengajarnya bagaimana untuk berfikir dengan lebih berkesan. Objektif teras fasa intensif RL ini adalah dua kali ganda:

1. Meningkatkan Penaakulan Tulen: Untuk menolak sempadan keupayaan model untuk melakukan deduksi logik, pengiraan matematik, inferens sebab-akibat, dan penyelesaian masalah kompleks merentasi pelbagai domain.
2. Mengoptimumkan Penjajaran Manusia: Untuk memastikan respons model bukan sahaja tepat tetapi juga membantu, tidak berbahaya, jujur, dan bernuansa dengan cara yang bergema dengan pengguna manusia. Ini melibatkan pemahaman niat tersirat, menjana output yang koheren dan sesuai mengikut konteks, dan mematuhi garis panduan keselamatan.

Untuk memacu proses latihan yang mencabar ini, set data yang luas dan pelbagai telah disusun dengan teliti. Koleksi ini terdiri daripada masalah sains dan penaakulan dunia, merangkumi spektrum disiplin yang luas:

• Matematik: Daripada aritmetik asas dan algebra kepada kalkulus, teori nombor, dan masalah peringkat pertandingan lanjutan.
• Penaakulan Logik: Teka-teki, tugas penaakulan deduktif, cabaran pemikiran kritis, dan masalah logik formal.
• Sains: Soalan dan masalah yang meliputi fizik, kimia, biologi, dan bidang saintifik lain, selalunya memerlukan penaakulan berbilang langkah dan aplikasi prinsip.
• Pengekodan: Reka bentuk algoritma, penjanaan kod, penyahpepijatan, dan pemahaman logik pengaturcaraan kompleks merentasi pelbagai bahasa.

Secara kritikal, data ini digabungkan dengan maklum balas sebenar dari dunia nyata. Gelung maklum balas ini penting untuk pembelajaran pengukuhan, menyediakan isyarat yang diperlukan oleh model untuk memahami laluan penaakulan mana yang membawa kepada hasil yang betul atau diutamakan. Asas yang ketat ini memastikan bahawa Hunyuan-T1 membangunkan kecekapan yang boleh dibuktikan apabila berhadapan dengan pelbagai tugas penaakulan mencabar yang dihadapi dalam senario dunia sebenar.

Metodologi Latihan Canggih

Skala pelaburan pengiraan dan pengumpulan data yang besar dipadankan dengan strategi latihan canggih yang direka untuk memaksimumkan kecekapan pembelajaran dan kestabilan model.

• Pembelajaran Kurikulum: Daripada membebankan model dengan masalah paling kompleks serta-merta, pendekatan pembelajaran kurikulum telah diguna pakai. Latihan dimulakan dengan tugas yang lebih mudah dan secara beransur-ansur memperkenalkan masalah yang lebih sukar. Serentak dengan itu, panjang konteks efektif model diperluaskan secara progresif. Pendekatan berperingkat ini membolehkan model membina kemahiran penaakulan asas sebelum menangani cabaran yang lebih maju, menggalakkan pembelajaran yang lebih stabil dan cekap. Ia juga melatih model untuk menggunakan kapasiti tokennya secara bijaksana untuk penaakulan yang berkesan, membangunkan satu bentuk kecekapan pengiraan dalam proses pemikirannya.
• Teknik Pembelajaran Pengukuhan Lanjutan: Untuk memastikan kemajuan yang teguh dan konsisten semasa latihan RL yang berpanjangan, strategi klasik namun berkuasa telah digunakan. Teknik seperti main semula data (menggunakan semula pengalaman lepas untuk mengukuhkan pembelajaran) dan penetapan semula polisi berkala (kadangkala kembali kepada keadaan model yang stabil lebih awal untuk mengelakkan perbezaan) telah diintegrasikan. Kaedah ini terbukti sangat berkesan, meningkatkan kestabilan jangka panjang proses latihan model dengan ketara sebanyak lebih 50%, mengurangkan isu seperti pelupaan katastrofik atau keruntuhan polisi yang boleh melanda usaha RL berskala besar.
• Sistem Ganjaran Bersepadu: Menyelaraskan model dengan keutamaan manusia adalah tugas yang kompleks. Hunyuan-T1 menggunakan sistem ganjaran bersepadu yang baru. Sistem ini mengintegrasikan maklum balas daripada dua sumber:
  • Pemberian Ganjaran Kendiri: Versi awal model T1-preview digunakan sebagai hakim automatik untuk menilai dan memberi markah secara komprehensif output model yang sedang menjalani latihan. Ini membolehkan penjanaan maklum balas berskala besar yang pantas berdasarkan kriteria yang telah ditetapkan.
  • Model Ganjaran: Model berasingan yang dilatih secara khusus untuk meramalkan keutamaan manusia menyediakan lapisan panduan tambahan, menangkap aspek kualiti, kebergunaan, dan keselamatan yang lebih halus.
    Mekanisme maklum balas gabungan ini membimbing model melalui proses penambahbaikan diri, menggalakkan output yang dicirikan oleh butiran kandungan yang lebih kaya, penyampaian maklumat yang lebih cekap, dan penjajaran keseluruhan yang lebih baik dengan ciri respons yang diingini.

Penanda Aras Prestasi: Berdiri Teguh Di Kalangan Elit

Ukuran muktamad model bahasa besar terletak pada prestasinya. Hunyuan-T1 telah dinilai secara teliti terhadap bateri penanda aras awam dan set data dalaman, menunjukkan keupayaan yang meletakkannya dengan kukuh dalam kalangan model AI kontemporari peringkat teratas.

Apabila dibandingkan dengan DeepSeek R1, satu lagi model berfokuskan penaakulan yang sangat dihormati, Hunyuan-T1 mencapai hasil yang setanding atau sedikit unggul pada beberapa penanda aras awam utama yang menilai pengetahuan dan penaakulan merentasi bahasa dan domain yang berbeza:

• MMLU-pro: Penanda aras mencabar yang direka untuk menilai pengetahuan dan penaakulan komprehensif merentasi subjek profesional dan akademik yang pelbagai.
• CEval: Suite penilaian bahasa Cina pelbagai disiplin.
• AIME: Memberi tumpuan kepada masalah matematik peringkat pertandingan yang menuntut penaakulan canggih.
• Zebra Logic: Penanda aras yang menyasarkan secara khusus teka-teki deduksi logik yang kompleks.

Di luar ujian khusus ini, set data penilaian manusia dalaman memberikan pandangan lanjut. Walaupun berprestasi setanding dengan R1 dalam banyak bidang, Hunyuan-T1 menunjukkan sedikit kelebihan dalam tugas yang berkaitan dengan:

• Mengikuti Arahan Budaya dan Kreatif: Menjana format teks kreatif, menyesuaikan diri dengan permintaan gaya tertentu dengan nuansa budaya.
• Ringkasan Teks: Menghasilkan ringkasan dokumen yang panjang dengan ringkas dan tepat sambil mengekalkan maklumat penting.
• Keupayaan Ejen: Menunjukkan kecekapan dalam tugas yang memerlukan perancangan, penggunaan alat, dan interaksi dengan sistem luaran.

Melihat kepada metrik penilaian komprehensif yang direka untuk mengukur keupayaan keseluruhan, Hunyuan-T1 mengukuhkan kedudukannya di kalangan model inferens elit.

• Pada MMLU-PRO, T1 mencapai skor luar biasa 87.2, kedua selepas model O1 OpenAI pada masa penilaian. Penanda aras ini merangkumi 14 bidang, termasuk kemanusiaan, sains sosial, dan subjek STEM, menguji kedua-dua ingatan pengetahuan yang luas dan pemahaman.
• Prestasi pada GPQA-diamond juga ketara. Penanda aras ini menumpukan pada pengetahuan peringkat pakar dan penaakulan saintifik yang rumit, menampilkan masalah peringkat kedoktoran terutamanya dalam fizik, kimia, dan biologi. Hunyuan-T1 mencapai skor 69.3, menunjukkan keupayaan yang kuat dalam mengendalikan soalan saintifik yang sangat khusus dan kompleks.

Cemerlang dalam Sains, Kejuruteraan, dan Penjajaran

Penilaian lanjut meneliti bidang khusus yang menuntut kebolehan penaakulan yang mantap:

• Pengekodan: Dalam penilaian kod LiveCodeBench, yang menguji penyelesaian masalah pengekodan praktikal, T1 mencapai skor 64.9, menunjukkan logik pengaturcaraan dan kemahiran penjanaan kod yang kukuh.
• Matematik: Model ini menunjukkan kekuatan luar biasa dalam matematik. Prestasinya pada MATH-500, set data masalah matematik yang mencabar, menghasilkan skor cemerlang 96.2. Hasil ini meletakkannya setanding dengan DeepSeek R1, menonjolkan keupayaan mendalam Hunyuan-T1 untuk menangani penaakulan matematik yang kompleks.
• Penjajaran dan Mengikuti Arahan: Di luar penyelesaian masalah tulen, T1 memaparkan kebolehsuaian yang mantap merentasi pelbagai tugas penjajaran. Ia cemerlang dalam senario mengikuti arahan dan menunjukkan kecekapan dalam menggunakan alat apabila diperlukan. Sebagai contoh, dalam tugas ArenaHard, yang direka untuk menilai prestasi pada gesaan mencabar yang dijana pengguna, T1 mencapai skor tinggi 91.9.

Hasil ini secara kolektif melukis gambaran model bahasa besar yang sangat berkebolehan, serba boleh, dan sejajar dengan baik. Integrasi strategik seni bina Hybrid-Transformer-Mamba, ditambah dengan rejimen pasca-latihan intensif yang berfokuskan RL, telah memuncak pada Hunyuan-T1 – model yang menunjukkan kehebatan penaakulan yang luar biasa, terutamanya dalam senario konteks panjang yang kompleks dan domain saintifik serta matematik yang mencabar.