Tencent Rilis Hunyuan-T1: AI Penalaran Baru Berbasis Mamba

Lanskap Optimalisasi Model Bahasa Besar yang Berkembang

Arena kecerdasan buatan menyaksikan pergeseran paradigma, terutama dalam tahap penyempurnaan setelah pelatihan awal model bahasa besar (LLMs). Reinforcement learning (RL), sebuah teknik canggih di mana model belajar melalui coba-coba yang dipandu oleh imbalan, telah muncul sebagai kekuatan ampuh yang mendorong peningkatan kinerja yang signifikan. Pendekatan ini telah beralih dari keingintahuan akademis menjadi strategi landasan bagi pengembang AI terkemuka. Kemampuan mengesankan yang ditunjukkan oleh model seperti seri O OpenAI dan DeepSeek R1 yang terkenal berfungsi sebagai bukti kuat, menggarisbawahi fungsi penting reinforcement learning dalam mengasah keluaran model, meningkatkan keterampilan pemecahan masalah, dan menyelaraskan perilaku AI lebih dekat dengan harapan dan preferensi manusia. Fase pasca-pelatihan ini bukan lagi hanya tentang penyempurnaan; ini tentang meningkatkan kecakapan kognitif model secara fundamental.

Memperkenalkan Hunyuan-T1: Lompatan dalam Kemampuan Berpikir Mendalam

Dengan latar belakang kemajuan pesat ini, tim Hunyuan Tencent telah menandai tonggak penting. Awal tahun ini, pada pertengahan Februari, tim memberikan gambaran sekilas tentang kemajuan mereka dengan Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview). Terintegrasi ke dalam aplikasi Tencent Yuanbao, model penalaran awal ini, yang dibangun di atas basis Hunyuan skala menengah, menawarkan pengguna cita rasa kemampuan analitis yang cepat dan mendalam.

Membangun di atas fondasi itu, kami sekarang dengan bangga mengumumkan peluncuran resmi Hunyuan-T1, versi model pemikiran mendalam yang sepenuhnya terwujud dalam keluarga model besar Hunyuan. Ini bukan sekadar pembaruan tambahan; ini mewakili evolusi substansial. Hunyuan-T1 memanfaatkan basis pemikiran cepat TurboS, arsitektur terobosan yang diperkenalkan oleh Tencent pada awal Maret. Apa yang membuat TurboS sangat menonjol adalah perbedaannya sebagai model besar Hybrid-Transformer-Mamba Mixture of Experts (MoE) skala ultra-besar pertama di dunia. Struktur hibrida inovatif ini menggabungkan kekuatan arsitektur Transformer yang sudah mapan dengan efisiensi dan kecakapan penanganan urutan dari model ruang keadaan Mamba yang lebih baru. Melalui rejimen pasca-pelatihan yang ekstensif dan dirancang dengan cermat, kemampuan penalaran Hunyuan-T1 telah diperkuat secara dramatis, dan penyelarasan dengan preferensi manusia yang bernuansa telah disempurnakan secara signifikan. Dibandingkan dengan pendahulunya dalam versi pratinjau, Hunyuan-T1 resmi menunjukkan peningkatan nyata di semua lini, memposisikannya sebagai pesaing tangguh di antara model besar berpenalaran tinggi terdepan di industri.

Keunggulan Arsitektural: Kekuatan TurboS dan Mamba

Pilihan TurboS sebagai landasan untuk Hunyuan-T1 memberikan keuntungan tersendiri, terutama ketika menangani tugas-tugas yang menuntut penalaran multi-langkah yang mendalam. Hambatan kritis dalam banyak model bahasa besar muncul ketika berhadapan dengan dokumen ekstensif atau percakapan panjang. Informasi yang disajikan di awal dapat menjadi encer atau hilang sama sekali saat model memproses teks berikutnya, yang mengarah pada apa yang dikenal sebagai kehilangan konteks. Selain itu, membangun hubungan antara titik-titik yang dipisahkan oleh petak teks yang besar – ketergantungan informasi jarak jauh – menimbulkan tantangan komputasi yang signifikan.

Arsitektur yang menopang Hunyuan-T1, yang diwarisi dari TurboS, secara langsung menghadapi keterbatasan ini. Desain bawaannya memprioritaskan penangkapan teks panjang yang kuat, memastikan bahwa model mempertahankan pemahaman yang lebih kuat tentang keseluruhan input, sehingga mengurangi kehilangan konteks dan lebih andal mengidentifikasi hubungan penting di seluruh urutan yang diperluas. Kemampuan ini sangat penting untuk tugas penalaran kompleks yang seringkali membutuhkan sintesis informasi yang tersebar di seluruh korpus teks yang besar.

Inti dari kemampuan yang ditingkatkan ini adalah komponen arsitektur Mamba. Mamba mewakili keberangkatan dari mekanisme berbasis perhatian murni yang dominan di banyak model Transformer. Ini menggunakan pendekatan model ruang keadaan (SSM), yang secara khusus dioptimalkan untuk memproses urutan panjang dengan efisiensi luar biasa. Manfaat utama meliputi:

• Kompleksitas Waktu Linear: Tidak seperti kompleksitas kuadratik mekanisme perhatian standar terkait panjang urutan, Mamba berskala secara linear. Ini membuat pemrosesan teks yang sangat panjang layak secara komputasi tanpa tuntutan sumber daya yang mahal.
• Komputasi Efisien: Desain Mamba memungkinkan komputasi yang dapat diparalelkan selama pelatihan dan operasi berulang yang efisien selama inferensi. Ini secara langsung diterjemahkan menjadi kecepatan pemrosesan yang lebih cepat.
• Manajemen Keadaan Selektif: Model Mamba dapat secara selektif mempertahankan atau melupakan informasi saat memproses urutan, meniru pendekatan yang lebih terfokus pada manajemen konteks, yang penting untuk mempertahankan informasi relevan dalam jarak jauh.

Akibatnya, TurboS, dan selanjutnya Hunyuan-T1, dapat secara efektif menganalisis input yang panjang sambil mengonsumsi sumber daya komputasi yang jauh lebih sedikit dibandingkan dengan model Transformer tradisional dengan skala serupa. Tolok ukur internal menunjukkan bahwa dalam kondisi penerapan yang identik, Hunyuan-T1 mencapai kecepatan decoding dua kali lebih cepat dibandingkan model sebanding yang tidak memiliki optimasi Mamba, faktor penting untuk aplikasi dunia nyata yang membutuhkan respons tepat waktu.

Wadah Pasca-Pelatihan: Menempa Kecakapan Penalaran dengan Reinforcement Learning

Transisi dari model dasar TurboS ke Hunyuan-T1 yang sangat mumpuni melibatkan fase pasca-pelatihan yang masif dan terfokus secara strategis. Menyadari peran penting teknik pembelajaran tingkat lanjut, Tencent mendedikasikan 96,7% sumber daya komputasi yang luar biasa yang dialokasikan untuk fase ini khusus untuk pelatihan reinforcement learning. Investasi besar ini menggarisbawahi prioritas strategis yang jelas: meningkatkan kemampuan penalaran murni model dan menyelaraskan keluarannya secara cermat dengan penilaian dan preferensi manusia yang kompleks.

Ini bukan hanya tentang memberi makan model lebih banyak data; ini tentang mengajarinya bagaimana berpikir lebih efektif. Tujuan inti dari fase intensif RL ini ada dua:

1. Meningkatkan Penalaran Murni: Untuk mendorong batas kemampuan model dalam melakukan deduksi logis, komputasi matematis, inferensi kausal, dan pemecahan masalah kompleks di berbagai domain.
2. Mengoptimalkan Penyelarasan Manusia: Untuk memastikan respons model tidak hanya akurat tetapi juga membantu, tidak berbahaya, jujur, dan bernuansa dengan cara yang beresonansi dengan pengguna manusia. Ini melibatkan pemahaman niat implisit, menghasilkan keluaran yang koheren dan sesuai konteks, serta mematuhi pedoman keselamatan.

Untuk mendorong proses pelatihan yang menuntut ini, kumpulan data yang luas dan beragam dikurasi dengan cermat. Koleksi ini terdiri dari masalah sains dan penalaran dunia, yang mencakup spektrum disiplin ilmu yang luas:

• Matematika: Dari aritmatika dasar dan aljabar hingga kalkulus, teori bilangan, dan soal tingkat kompetisi lanjutan.
• Penalaran Logis: Teka-teki, tugas penalaran deduktif, tantangan berpikir kritis, dan masalah logika formal.
• Sains: Pertanyaan dan masalah yang mencakup fisika, kimia, biologi, dan bidang ilmiah lainnya, seringkali membutuhkan penalaran multi-langkah dan penerapan prinsip.
• Pengkodean: Desain algoritma, pembuatan kode, debugging, dan pemahaman logika pemrograman kompleks di berbagai bahasa.

Secara krusial, data ini digabungkan dengan umpan balik nyata ground-truth. Lingkaran umpan balik ini penting untuk reinforcement learning, memberikan sinyal yang dibutuhkan model untuk memahami jalur penalaran mana yang mengarah pada hasil yang benar atau disukai. Landasan yang ketat ini memastikan bahwa Hunyuan-T1 mengembangkan kemahiran yang dapat dibuktikan ketika dihadapkan pada beragam tugas penalaran menantang yang dihadapi dalam skenario dunia nyata.

Metodologi Pelatihan Canggih

Skala investasi komputasi dan pengumpulan data yang besar dipasangkan dengan strategi pelatihan canggih yang dirancang untuk memaksimalkan efisiensi pembelajaran dan stabilitas model.

• Pembelajaran Kurikulum: Daripada membanjiri model dengan masalah paling kompleks segera, pendekatan pembelajaran kurikulum diadopsi. Pelatihan dimulai dengan tugas-tugas yang lebih sederhana dan secara bertahap memperkenalkan masalah yang lebih sulit. Secara bersamaan, panjang konteks efektif model diperluas secara progresif. Pendekatan bertahap ini memungkinkan model untuk membangun keterampilan penalaran dasar sebelum menangani tantangan yang lebih maju, mempromosikan pembelajaran yang lebih stabil dan efisien. Ini juga melatih model untuk memanfaatkan kapasitas tokennya secara bijaksana untuk penalaran yang efektif, mengembangkan bentuk efisiensi komputasi dalam proses berpikirnya.
• Teknik Reinforcement Learning Tingkat Lanjut: Untuk memastikan kemajuan yang kuat dan konsisten selama pelatihan RL yang berkepanjangan, strategi klasik namun kuat digunakan. Teknik seperti pemutaran ulang data (menggunakan kembali pengalaman masa lalu untuk memperkuat pembelajaran) dan pengaturan ulang kebijakan berkala (sesekali kembali ke status model sebelumnya yang stabil untuk mencegah divergensi) diintegrasikan. Metode ini terbukti sangat efektif, secara signifikan meningkatkan stabilitas jangka panjang proses pelatihan model lebih dari 50%, mengurangi masalah seperti catastrophic forgetting atau keruntuhan kebijakan yang dapat mengganggu upaya RL skala besar.
• Sistem Imbalan Terpadu: Menyelaraskan model dengan preferensi manusia adalah tugas yang kompleks. Hunyuan-T1 menggunakan sistem imbalan terpadu yang baru. Sistem ini mengintegrasikan umpan balik dari dua sumber:
  • Pemberian Imbalan Sendiri: Versi sebelumnya dari model T1-preview digunakan sebagai juri otomatis untuk mengevaluasi dan menilai secara komprehensif keluaran model yang sedang menjalani pelatihan. Ini memungkinkan pembuatan umpan balik skala besar yang cepat berdasarkan kriteria yang telah ditentukan sebelumnya.
  • Model Imbalan: Model terpisah yang secara khusus dilatih untuk memprediksi preferensi manusia memberikan lapisan panduan tambahan, menangkap aspek kualitas, kebermanfaatan, dan keamanan yang lebih halus.
    Mekanisme umpan balik gabungan ini memandu model melalui proses perbaikan diri, mendorong keluaran yang ditandai dengan detail konten yang lebih kaya, penyampaian informasi yang lebih efisien, dan penyelarasan keseluruhan yang lebih baik dengan karakteristik respons yang diinginkan.

Tolok Ukur Kinerja: Berdiri Tegak di Antara Elit

Ukuran utama dari model bahasa besar terletak pada kinerjanya. Hunyuan-T1 telah dievaluasi secara ketat terhadap serangkaian tolok ukur publik dan kumpulan data internal, menunjukkan kemampuan yang menempatkannya dengan kuat di tingkat teratas model AI kontemporer.

Ketika dibandingkan dengan DeepSeek R1, model lain yang berfokus pada penalaran yang sangat dihormati, Hunyuan-T1 mencapai hasil yang sebanding atau sedikit lebih unggul pada beberapa tolok ukur publik utama yang menilai pengetahuan dan penalaran di berbagai bahasa dan domain:

• MMLU-pro: Tolok ukur menantang yang dirancang untuk mengevaluasi pengetahuan dan penalaran komprehensif di berbagai mata pelajaran profesional dan akademik.
• CEval: Rangkaian evaluasi bahasa Mandarin multi-disiplin.
• AIME: Berfokus pada soal matematika tingkat kompetisi yang menuntut penalaran canggih.
• Zebra Logic: Tolok ukur yang secara khusus menargetkan teka-teki deduksi logis yang kompleks.

Di luar tes khusus ini, kumpulan data evaluasi manusia internal memberikan wawasan lebih lanjut. Meskipun berkinerja setara dengan R1 di banyak area, Hunyuan-T1 menunjukkan sedikit keunggulan dalam tugas-tugas yang berkaitan dengan:

• Mengikuti Instruksi Budaya dan Kreatif: Menghasilkan format teks kreatif, beradaptasi dengan permintaan gaya tertentu dengan nuansa budaya.
• Peringkasan Teks: Menghasilkan ringkasan dokumen panjang yang ringkas dan akurat sambil mempertahankan informasi penting.
• Kemampuan Agen: Menunjukkan kemahiran dalam tugas-tugas yang membutuhkan perencanaan, penggunaan alat, dan interaksi dengan sistem eksternal.

Melihat metrik evaluasi komprehensif yang dirancang untuk mengukur kemampuan keseluruhan, Hunyuan-T1 memperkuat posisinya di antara model inferensi elit.

• Pada MMLU-PRO, T1 mencapai skor luar biasa 87,2, kedua setelah model O1 OpenAI pada saat evaluasi. Tolok ukur ini mencakup 14 bidang, termasuk humaniora, ilmu sosial, dan mata pelajaran STEM, menguji ingatan pengetahuan yang luas dan pemahaman.
• Kinerja pada GPQA-diamond juga patut dicatat. Tolok ukur ini berkonsentrasi pada pengetahuan tingkat ahli dan penalaran ilmiah yang rumit, menampilkan masalah tingkat doktoral terutama dalam fisika, kimia, dan biologi. Hunyuan-T1 mencapai skor 69,3, menunjukkan kemampuan kuat dalam menangani pertanyaan ilmiah yang sangat terspesialisasi dan kompleks.

Unggul dalam Sains, Teknik, dan Penyelarasan

Evaluasi lebih lanjut menelusuri area spesifik yang menuntut kemampuan penalaran yang kuat:

• Pengkodean: Dalam evaluasi kode LiveCodeBench, yang menguji pemecahan masalah pengkodean praktis, T1 mencapai skor 64,9, menunjukkan logika pemrograman dan keterampilan pembuatan kode yang solid.
• Matematika: Model ini menunjukkan kekuatan luar biasa dalam matematika. Kinerjanya pada MATH-500, kumpulan data soal matematika yang menantang, menghasilkan skor luar biasa 96,2. Hasil ini menempatkannya bersaing ketat dengan DeepSeek R1, menyoroti kemampuan mendalam Hunyuan-T1 untuk mengatasi penalaran matematis yang kompleks.
• Penyelarasan dan Mengikuti Instruksi: Di luar pemecahan masalah murni, T1 menampilkan kemampuan beradaptasi yang kuat di berbagai tugas penyelarasan. Ia unggul dalam skenario mengikuti instruksi dan menunjukkan kemahiran dalam memanfaatkan alat bila diperlukan. Misalnya, dalam tugas ArenaHard, yang dirancang untuk mengevaluasi kinerja pada prompt menantang yang dibuat pengguna, T1 mencapai skor tinggi 91,9.

Hasil ini secara kolektif melukiskan gambaran model bahasa besar yang sangat mumpuni, serbaguna, dan selaras dengan baik. Integrasi strategis arsitektur Hybrid-Transformer-Mamba, ditambah dengan rejimen pasca-pelatihan intensif yang berfokus pada RL, telah memuncak pada Hunyuan-T1 – model yang menunjukkan kecakapan penalaran yang luar biasa, terutama dalam skenario konteks panjang yang kompleks dan domain ilmiah dan matematis yang menuntut.