Dalam bidang kecerdasan buatan, kebangkitan model multimodal mengubah cara kita berinteraksi dengan teknologi pada kadar yang belum pernah terjadi sebelumnya. Gemini 2.5, model multimodal terkini Google, telah mencapai kemajuan yang ketara dalam pemprosesan audio, membawa keupayaan dialog dan penjanaan audio yang belum pernah berlaku sebelum ini kepada pembangun dan pengguna. Model ini bukan sahaja mampu memahami dan menjana kandungan dalam pelbagai modaliti seperti teks, imej, audio, video dan kod, tetapi juga mencapai lompatan kualitatif dari segi pemprosesan audio asli.
Gambaran Keseluruhan Teknikal Keupayaan Audio Asli Gemini 2.5
Gemini direka bentuk dari awal sebagai model multimodal, mampu memahami dan menjana kandungan secara asli merentasi teks, imej, audio, video dan kod. Pada persidangan I/O, kami menunjukkan bagaimana Gemini 2.5 telah mencapai kemajuan yang ketara dalam dialog dan penjanaan audio yang didorong oleh AI. Kini, model ini telah digunakan dalam pelbagai produk dan prototaip di seluruh dunia, menyokong pelbagai bahasa, dan membawa pengalaman audio baharu kepada pengguna.
Lebih khusus lagi, Gemini 2.5 mencapai keupayaan pemprosesan audionya yang luar biasa melalui beberapa ciri utama berikut:
Penggabungan Multimodal: Gemini 2.5 bukan sekadar model pemprosesan audio yang berasingan; ia mampu menggabungkan maklumat audio dengan maklumat daripada modaliti lain (seperti teks, imej) untuk memahami dan menjana kandungan dengan lebih komprehensif. Penggabungan multimodal ini membolehkan Gemini 2.5 mempunyai ketepatan dan keteguhan yang lebih tinggi dalam mengendalikan tugas audio yang kompleks.
Teknologi Pembelajaran Mendalam: Gemini 2.5 menggunakan teknologi pembelajaran mendalam yang paling canggih, termasuk rangkaian Transformer dan mekanisme perhatian kendiri. Teknologi ini membolehkan model mempelajari corak dan hubungan yang kompleks dalam data audio, dengan itu mencapai penjanaan dan dialog audio berkualiti tinggi.
Latihan Dataset Berskala Besar: Untuk meningkatkan prestasi model, Gemini 2.5 menggunakan dataset audio berskala besar untuk latihan. Dataset ini mengandungi pelbagai jenis kandungan audio, termasuk pertuturan, muzik, bunyi persekitaran, dan lain-lain, yang membolehkan model menyesuaikan diri dengan senario audio yang berbeza.
Kebolehsuaian: Gemini 2.5 menyediakan API dan alatan yang kaya, membolehkan pembangun menyesuaikan tingkah laku model mengikut keperluan mereka. Contohnya, pembangun boleh melaraskan parameter gaya pertuturan, nada dan kelajuan pertuturan model untuk menjana kandungan audio yang memenuhi keperluan khusus.
Dialog Audio Masa Nyata: Membuka Lembaran Baharu dalam Interaksi Manusia-Mesin
Perbualan manusia bukan sahaja pemindahan maklumat, tetapi juga tingkah laku komunikasi yang kompleks, yang mengandungi emosi, nada dan unsur bukan lisan yang kaya. Fungsi dialog audio masa nyata Gemini 2.5 bertujuan untuk meniru cara perbualan semula jadi ini, menjadikan interaksi manusia-mesin lebih lancar dan semula jadi.
Perbualan Semula Jadi: Interaksi Suara yang Lancar dan Semula Jadi
Gemini 2.5 mampu menjana pertuturan berkualiti tinggi, dengan kualiti bunyi, ekspresi dan rentaknya sangat hampir dengan manusia sebenar. Selain itu, model ini mempunyai kependaman yang sangat rendah, yang boleh mencapai interaksi suara masa nyata, membuatkan pengguna berasa seolah-olah mereka sedang bercakap dengan orang sebenar.
Kawalan Gaya: Penyesuaian Suara Peribadi
Dengan menggunakan gesaan bahasa semula jadi, pengguna boleh mengawal gaya pertuturan Gemini 2.5, seperti menukar loghat, melaraskan nada, atau bahkan meniru bisikan. Fungsi kawalan gaya ini membolehkan pengguna menyesuaikan pertuturan mengikut pilihan mereka, dengan itu memperoleh pengalaman yang lebih diperibadikan.
Integrasi Alat: Bantuan Perbualan Pintar
Gemini 2.5 boleh disepadukan dengan alat dan fungsi lain, seperti Carian Google dan alat yang disesuaikan pembangun. Integrasi ini membolehkan model mendapatkan maklumat masa nyata semasa perbualan, sekali gus menyediakan bantuan yang lebih praktikal dan pintar.
Kesedaran Konteks: Pertimbangan Pintar Bilakah Hendak Bercakap
Gemini 2.5 mampu mengenal pasti dan mengabaikan bunyi latar belakang, perbualan persekitaran dan audio lain yang tidak berkaitan, hanya bertindak balas apabila sesuai. Keupayaan kesedaran konteks ini menghalang model daripada mengganggu pengguna apabila tidak perlu, dengan itu memberikan pengalaman perbualan yang lebih selesa.
Pemahaman Audio-Video: Keupayaan Perbualan Multimodal
Gemini 2.5 boleh memahami maklumat daripada aliran audio-video dan berinteraksi dengannya. Contohnya, model boleh menganalisis kandungan video dan membincangkan plot, watak dan peristiwa dalam video dengan pengguna.
Sokongan Berbilang Bahasa: Melangkaui Halangan Bahasa
Gemini 2.5 menyokong lebih daripada 24 bahasa, dan boleh mencampurkan bahasa yang berbeza dalam ayat yang sama. Sokongan berbilang bahasa ini membolehkan model membantu pengguna melangkaui halangan bahasa dan berkomunikasi dengan orang dari seluruh dunia.
Perbualan Emosi: Memahami dan Bertindak Balas Terhadap Emosi Pengguna
Gemini 2.5 boleh mengenal pasti emosi dalam suara pengguna dan memberikan respons yang sewajarnya. Contohnya, jika pengguna kelihatan tertekan, model mungkin menawarkan keselesaan atau galakan.
Perbualan Pemikiran Lanjutan: Interaksi yang Lebih Pintar
Keupayaan penaakulan Gemini 2.5 boleh meningkatkan keupayaan perbualannya, dengan itu meningkatkan prestasi keseluruhan. Keupayaan pemikiran lanjutan ini membolehkan model menjalankan interaksi yang lebih koheren dan pintar, terutamanya apabila menangani tugas penaakulan yang kompleks.
Teks-ke-Pertuturan (TTS) Terkawal: Mencipta Kandungan Audio yang Diperibadikan
Perkembangan teknologi teks-ke-pertuturan (TTS) berkembang pesat dari hari ke hari, dan Gemini 2.5 telah mencapai kemajuan terobosan dalam TTS, yang memberikan pengguna kuasa kawalan yang belum pernah berlaku sebelum ini. Kini, pengguna boleh menjana pelbagai jenis kandungan audio, daripada petikan pendek kepada naratif yang panjang, dan mereka boleh mengawal gaya, nada, ekspresi emosi dan prestasi dengan tepat.
Fungsi TTS Gemini 2.5 mempunyai ciri-ciri berikut:
Prestasi Dinamik: Model ini boleh menukar teks kepada audio yang jelas untuk menyatakan pelbagai emosi, seperti puisi, siaran berita dan cerita yang menarik. Mereka juga boleh melakukan emosi tertentu dan menghasilkan loghat atas permintaan.
Kawalan Rentak dan Sebutan yang Dipertingkatkan: Pengguna boleh mengawal kelajuan pertuturan dan memastikan sebutan yang lebih tepat, termasuk sebutan perkataan tertentu.
Penjanaan Perbualan Berbilang Penceramah: Model ini boleh menjana "gambaran keseluruhan audio" dua orang daripada input teks, menjadikan kandungan lebih menarik melalui perbualan.
Sokongan Berbilang Bahasa: Gemini 2.5 boleh mencipta kandungan audio berbilang bahasa dengan mudah, menyediakan sokongan yang sama untuk lebih daripada 24 bahasa.
Untuk penjanaan pertuturan terkawal (TTS), anda boleh memilih Gemini 2.5 Pro Preview untuk mendapatkan kualiti yang paling canggih di bawah gesaan yang kompleks, atau memilih Gemini 2.5 Flash Preview untuk aplikasi harian yang kos efektif. Ini membolehkan pembangun mencipta audio untuk pengumuman, cerita, podcast, permainan video dan banyak lagi secara dinamik.
Keselamatan dan Tanggungjawab: Melindungi Hak Pengguna
Google sangat mementingkan keselamatan dan tanggungjawab kecerdasan buatan. Dalam membangunkan fungsi audio asli ini, kami secara proaktif menilai potensi risiko pada setiap peringkat dan menggunakan pengetahuan yang kami pelajari untuk membangunkan strategi mitigasi. Kami mengesahkan langkah-langkah ini melalui penilaian keselamatan dalaman dan luaran yang ketat, termasuk latihan pasukan merah yang komprehensif, untuk mencapai penggunaan yang bertanggungjawab. Di samping itu, semua output audio model kami dibenamkan dengan SynthID (teknologi tera air kami) untuk memastikan ketelusan dengan menjadikan audio yang dijana AI boleh dikenal pasti.
Keupayaan Audio Asli untuk Pembangun: Membina Aplikasi yang Lebih Kaya
Kami memperkenalkan output audio asli ke dalam model Gemini 2.5, membolehkan pembangun membina aplikasi yang lebih kaya dan lebih interaktif melalui Google AI Studio atau Gemini API dalam Vertex AI.
Untuk mula meneroka, pembangun boleh mencuba dialog audio asli dengan Gemini 2.5 Flash Preview menggunakan tab Strim dalam Google AI Studio. Penjanaan pertuturan terkawal (TTS) boleh dipratonton oleh Gemini 2.5 Pro dan Flash dengan memilih penjanaan suara dalam tab "Jana Media" dalam Google AI Studio.
Prospek Aplikasi Gemini 2.5
Keupayaan pemprosesan audio Gemini 2.5 membawa prospek aplikasi yang luas ke pelbagai bidang:
Pembantu Pintar: Gemini 2.5 boleh digunakan untuk membina pembantu pintar yang lebih pintar dan semula jadi, seperti pembantu suara, bot sembang, dan lain-lain. Pembantu ini boleh memahami arahan suara pengguna dan menyediakan perkhidmatan yang sepadan, seperti soalan maklumat, memainkan muzik, mengawal peranti rumah pintar, dan lain-lain.
Pendidikan: Gemini 2.5 boleh digunakan untuk membangunkan aplikasi pendidikan yang diperibadikan, seperti aplikasi pembelajaran suara, aplikasi pembelajaran bahasa, dan lain-lain. Aplikasi ini boleh menyediakan kandungan dan maklum balas pembelajaran yang disesuaikan mengikut kemajuan dan keupayaan pembelajaran pelajar, dengan itu meningkatkan kesan pembelajaran.
Hiburan: Gemini 2.5 boleh digunakan untuk mencipta pengalaman hiburan yang lebih kaya, seperti permainan suara, cerita suara, novel suara, dan lain-lain. Aplikasi ini boleh menggunakan keupayaan penjanaan suara Gemini 2.5 untuk memberikan pengguna pengalaman yang lebih imersif.
Perubatan: Gemini 2.5 boleh digunakan untuk membantu diagnosis dan rawatan perubatan, contohnya, pengecaman suara boleh digunakan untuk merekod keputusan diagnosis doktor, dan sintesis suara boleh digunakan untuk membantu pesakit afasia berkomunikasi.
Komersial: Gemini 2.5 boleh digunakan untuk meningkatkan perkhidmatan pelanggan, seperti perkhidmatan pelanggan suara, pemasaran suara, dan lain-lain. Aplikasi ini boleh menggunakan keupayaan penjanaan suara Gemini 2.5 untuk menyediakan perkhidmatan yang lebih cekap dan diperibadikan.
Pendek kata, keupayaan pemprosesan audio Gemini 2.5 membawa peluang baharu kepada bidang kecerdasan buatan. Ia akan mengubah cara kita berinteraksi dengan teknologi dan membawa inovasi dan pembangunan kepada pelbagai industri.