Sebagai kecerdasan buatan terus berkembang pesat dan diintegrasikan ke dalam pelbagai industri, perniagaan menghadapi cabaran penting: memaksimumkan nilai yang diperoleh daripada teknologi berkuasa ini. Aspek utama cabaran ini terletak pada memahami ekonomi inferens, proses menggunakan model AI terlatih untuk menjana ramalan atau output daripada data baharu.
Inferens membentangkan permintaan pengiraan yang unik berbanding dengan latihan model. Walaupun latihan melibatkan kos pendahuluan yang ketara untuk memproses set data yang besar dan mengenal pasti corak, inferens menanggung kos berterusan dengan setiap interaksi. Setiap gesaan atau input yang diserahkan kepada model mencetuskan penjanaan token, unit data asas, dan setiap token membawa kos pengiraan.
Oleh itu, apabila model AI menjadi lebih canggih dan digunakan secara meluas, jumlah token yang dijana meningkat, menyebabkan perbelanjaan pengiraan yang lebih tinggi. Bagi organisasi yang berusaha memanfaatkan AI dengan berkesan, matlamatnya adalah untuk menjana token yang tinggi dengan kelajuan, ketepatan dan kualiti perkhidmatan yang optimum sambil memastikan kos pengiraan terkawal.
Ekosistem AI telah secara aktif mengejar strategi untuk mengurangkan kos inferens dan meningkatkan kecekapan. Kemajuan dalam pengoptimuman model, ditambah dengan pembangunan infrastruktur pengkomputeran dipercepat yang cekap tenaga dan penyelesaian full-stack yang komprehensif, telah menyumbang kepada trend penurunan dalam kos inferens sejak tahun lalu.
Menurut Laporan Indeks AI 2025 Institut Kecerdasan Buatan Berpusatkan Manusia Universiti Stanford, kos inferens untuk sistem dengan prestasi tahap GPT-3.5 telah menurun secara mendadak antara November 2022 dan Oktober 2024. Kos perkakasan juga telah menurun, dengan kecekapan tenaga bertambah baik setiap tahun. Selain itu, model berat terbuka menyempitkan jurang prestasi dengan model tertutup, seterusnya mengurangkan halangan kepada penggunaan AI lanjutan.
Apabila model maju dan mewujudkan lebih banyak permintaan serta menghasilkan lebih banyak token, organisasi mesti menskalakan sumber pengkomputeran dipercepat mereka untuk menyediakan generasi seterusnya alat penaakulan AI. Kegagalan untuk berbuat demikian boleh mengakibatkan peningkatan kos dan penggunaan tenaga.
Artikel ini menyediakan pemahaman asas tentang ekonomi inferens, memperkasakan organisasi untuk membangunkan penyelesaian AI yang cekap, kos efektif dan berskala.
Konsep Utama dalam Ekonomi Inferens AI
Membiasakan diri dengan istilah penting ekonomi inferens AI adalah penting untuk memahami kepentingannya.
Token: Unit data teras dalam model AI, diperoleh daripada teks, imej, audio dan video semasa latihan. Penjanaan token melibatkan pemecahan data kepada unit yang lebih kecil dan mudah diurus. Semasa latihan, model mempelajari hubungan antara token, membolehkannya melakukan inferens dan menjana output yang tepat.
Throughput (Daya Pemprosesan): Jumlah data yang boleh diproses dan dikeluarkan oleh model dalam jangka masa tertentu, sering diukur dalam token per saat. Throughput yang lebih tinggi menunjukkan penggunaan sumber infrastruktur yang lebih cekap.
Latency (Kependaman): Kelewatan masa antara memasukkan gesaan dan menerima respons model. Kependaman yang lebih rendah diterjemahkan kepada respons yang lebih pantas dan pengalaman pengguna yang lebih baik. Metrik kependaman utama termasuk:
- Time to First Token (TTFT): Masa yang diperlukan untuk model menghasilkan token output pertama selepas menerima gesaan pengguna, mencerminkan masa pemprosesan awal.
- Time per Output Token (TPOT): Masa purata untuk menjana token seterusnya, juga dikenali sebagai ‘kependaman antara token’ atau ‘kependaman token ke token’.
Walaupun TTFT dan TPOT adalah penanda aras yang berguna, memfokuskan semata-mata pada mereka boleh membawa kepada prestasi yang tidak optimum atau peningkatan kos.
Goodput: Metrik holistik yang mengukur throughput yang dicapai sambil mengekalkan tahap TTFT dan TPOT sasaran. Goodput memberikan pandangan yang lebih komprehensif tentang prestasi sistem, memastikan penjajaran antara throughput, kependaman dan kos untuk menyokong kecekapan operasi dan pengalaman pengguna yang positif.
Kecekapan Tenaga: Ukuran keberkesanan sistem AI menukar kuasa kepada output pengiraan, dinyatakan sebagai prestasi per watt. Platform pengkomputeran dipercepat boleh membantu organisasi memaksimumkan token per watt dan meminimumkan penggunaan tenaga.
Undang-Undang Penskalaan dan Kos Inferens
Tiga undang-undang penskalaan AI memberikan pandangan lanjut tentang ekonomi inferens:
Penskalaan Pra-Latihan: Undang-undang penskalaan asal, yang menunjukkan bahawa meningkatkan saiz set data latihan, kiraan parameter model dan sumber pengiraan membawa kepada peningkatan yang boleh diramalkan dalam kecerdasan dan ketepatan model.
Pasca-Latihan: Proses di mana model ditala halus untuk tugas dan aplikasi tertentu. Teknik seperti penjanaan tambahan pengambilan (RAG) boleh meningkatkan ketepatan dengan mendapatkan semula maklumat yang berkaitan daripada pangkalan data perusahaan.
Penskalaan Masa Ujian: Juga dikenali sebagai ‘pemikiran panjang’ atau ‘penaakulan’, teknik ini melibatkan memperuntukkan sumber pengiraan tambahan semasa inferens untuk menilai pelbagai kemungkinan hasil sebelum memilih jawapan yang terbaik.
Walaupun teknik penskalaan pasca-latihan dan masa ujian menjadi semakin canggih, pra-latihan kekal sebagai aspek penting dalam menskalakan model dan menyokong teknik lanjutan ini.
Mencapai AI yang Menguntungkan dengan Pendekatan Full-Stack
Model yang memanfaatkan penskalaan masa ujian menjana pelbagai token untuk menangani masalah yang kompleks, menghasilkan output yang lebih tepat dan relevan tetapi juga kos pengiraan yang lebih tinggi berbanding model yang hanya menjalani pra-latihan dan pasca-latihan.
Penyelesaian AI yang lebih pintar memerlukan penjanaan lebih banyak token untuk menyelesaikan tugas yang kompleks, manakala pengalaman pengguna berkualiti tinggi memerlukan penjanaan token ini secepat mungkin. Semakin pintar dan pantas model AI, semakin banyak nilai yang diberikannya kepada perniagaan dan pelanggan.
Organisasi perlu menskalakan sumber pengkomputeran dipercepat mereka untuk menyampaikan alat penaakulan AI yang boleh mengendalikan penyelesaian masalah yang kompleks, pengekodan dan perancangan berbilang langkah tanpa menanggung kos yang berlebihan.
Ini memerlukan kedua-dua perkakasan termaju dan timbunan perisian yang dioptimumkan sepenuhnya. Peta hala tuju produk kilang AI NVIDIA direka untuk memenuhi permintaan pengiraan ini dan menangani kerumitan inferens sambil meningkatkan kecekapan.
Kilang AI menyepadukan infrastruktur AI berprestasi tinggi, rangkaian berkelajuan tinggi dan perisian yang dioptimumkan untuk membolehkan kecerdasan pada skala. Komponen ini direka bentuk untuk menjadi fleksibel dan boleh diprogramkan, membolehkan perniagaan mengutamakan bidang yang kritikal kepada model atau keperluan inferens mereka.
Untuk menyelaraskan operasi apabila menggunakan model penaakulan AI yang besar, kilang AI berjalan pada sistem pengurusan inferens berprestasi tinggi dan kependaman rendah. Sistem ini memastikan kelajuan dan throughput yang diperlukan untuk penaakulan AI dipenuhi pada kos serendah mungkin, memaksimumkan penjanaan hasil token.
Dengan memahami dan menangani ekonomi inferens, organisasi boleh membuka potensi penuh AI dan mencapai pulangan yang ketara ke atas pelaburan mereka. Pendekatan strategik yang mempertimbangkan metrik utama, undang-undang penskalaan dan kepentingan penyelesaian full-stack adalah penting untuk membina aplikasi AI yang cekap, kos efektif dan menguntungkan.