Mifumo ya uelewa, inayoonyeshwa kama hatua kubwa inayofuata katika mageuzi ya mifumo mikubwa ya lugha (LLMs), imeonyesha maendeleo ya kushangaza, haswa katika maeneo yanayohitaji utatuzi wa matatizo changamano, kama vile hesabu na programu za kompyuta. Mifumo hii iliyoboreshwa, inayojulikana kwa awamu ya ziada ya “mafunzo ya uelewa”, hutumia ufundishaji wa kujifunza kwa nguvu ili kuboresha uwezo wao wa kushughulikia changamoto ngumu. O3 ya OpenAI inasimama kama mfano wa upainia, ikionyesha faida kubwa za utendaji juu ya mtangulizi wake, o1, kulingana na tathmini za alama za majaribio. Swali kuu linaloibuka sasa juu ya uwanja ni uendelevu wa maendeleo haya. Je! mifumo hii inaweza kuendelea maendeleo kwa kiwango sawa kwa kuongeza tu nguvu ya kompyuta?
Epoch AI, shirika la utafiti linalozingatia athari za kijamii za akili bandia, limechukua jukumu la kufungua swali hili. Josh You, mchambuzi wa data huko Epoch AI, amefanya uchambuzi kamili kuamua viwango vya sasa vya uwekezaji wa kompyuta katika mafunzo ya uelewa na kutathmini uwezo uliobaki wa upanuzi.
Kuongezeka kwa Hesabu Nyuma ya Mifumo ya Uelewa
OpenAI imesema hadharani kwamba o3 ilifunzwa na rasilimali za kompyuta mara kumi zilizotengwa kwa uelewa ikilinganishwa na o1 - ongezeko kubwa lililopatikana katika miezi minne tu. Chati iliyotolewa na OpenAI inaonyesha wazi uhusiano wa karibu kati ya nguvu ya kompyuta na utendaji kwenye alama ya majaribio ya hesabu ya AIME. Epoch AI inadhani kuwa takwimu hizi zinahusiana haswa na awamu ya pili ya mafunzo, mafunzo ya uelewa, badala ya mchakato kamili wa mafunzo ya mfumo.
Ili kuweka takwimu hizi katika mtazamo, Epoch AI ilichunguza mifumo inayofanana. DeepSeek-R1, kwa mfano, iliripotiwa kufunzwa na karibu 6e23 FLOP (operesheni za uhakika kuelea kwa sekunde) kwa gharama inayokadiriwa ya $1 milioni, ilifikia matokeo ya alama za majaribio sawa na o1.
Makampuni makubwa ya teknolojia Nvidia na Microsoft pia yamechangia maendeleo ya mifumo ya uelewa, yakitoa data ya mafunzo inayopatikana hadharani. Llama-Nemotron Ultra 253B ya Nvidia ilitumia takriban saa 140,000 za H100 GPU, sawa na takriban 1e23 FLOP, kwa awamu yake ya mafunzo ya uelewa. Phi-4-reasoning ya Microsoft ilitumia nguvu kidogo zaidi ya kompyuta, chini ya 1e20 FLOP. Sababu muhimu inayotofautisha mifumo hii ni utegemezi wao mkubwa kwenye data ya mafunzo ya synthetic iliyotolewa na mifumo mingine ya AI. Epoch AI inasisitiza kwamba utegemezi huu hufanya kulinganisha moja kwa moja na mifumo kama o3 kuwa ngumu zaidi kwa sababu ya tofauti za asili kati ya data halisi na ya synthetic na athari yake kwenye ujifunzaji wa mfumo na ujanibishaji.
Kufafanua “Mafunzo ya Uelewa”: Eneo Lisiloeleweka
Safu nyingine ya ugumu inatokana na ukosefu wa ufafanuzi unaokubalika ulimwenguni pote wa “mafunzo ya uelewa.” Mbali na ujifunzaji wa kuimarisha, mifumo mingine inajumuisha mbinu kama vile urekebishaji mzuri unaosimamiwa. Utata unaozunguka vipengele vilivyojumuishwa katika makadirio ya hesabu huleta kutofautiana, na kuifanya iwe changamoto kulinganisha kwa usahihi rasilimali kati ya mifumo tofauti.
Hadi sasa, mifumo ya uelewa bado hutumia nguvu ndogo ya kompyuta kuliko majaribio makubwa ya mafunzo ya AI, kama vile Grok 3, ambayo inazidi 1e26 FLOP. Awamu za kisasa za mafunzo ya uelewa kwa kawaida hufanya kazi kati ya 1e23 na 1e24 FLOP, zikiacha nafasi kubwa ya upanuzi unaowezekana - au inaonekana hivyo mwanzoni.
Dario Amodei, Mkurugenzi Mtendaji wa Anthropic, anashiriki mtazamo sawa. Anadai kwamba uwekezaji wa $1 milioni katika mafunzo ya uelewa unaweza kutoa maendeleo makubwa. Walakini, kampuni zinachunguza kikamilifu njia za kuongeza bajeti ya awamu hii ya pili ya mafunzo hadi mamia ya mamilioni ya dola na zaidi, ambayo inapendekeza mustakabali ambapo uchumi wa mafunzo unabadilika sana.
Ikiwa mwelekeo wa sasa wa ongezeko la takriban mara kumi katika nguvu ya kompyuta kila baada ya miezi mitatu hadi mitano unaendelea, hesabu ya mafunzo ya uelewa inaweza kufikia jumla ya hesabu ya mafunzo ya mifumo inayoongoza mapema kama mwaka ujao. Walakini, Josh You anatarajia kuwa ukuaji hatimaye utapungua hadi ongezeko la takriban mara 4 kwa mwaka, linaloendana na mwelekeo mpana wa tasnia. Kupungua huku kunaweza kuendeshwa na mchanganyiko wa mambo, pamoja na kupungua kwa kurudi kwa uwekezaji katika mafunzo, kuongezeka kwa gharama ya rasilimali za kompyuta, na mapungufu ya data ya mafunzo inayopatikana.
Zaidi ya Hesabu: Vikwazo kwenye Upeo wa Macho
Epoch AI inasisitiza kwamba nguvu ya kompyuta sio kikwazo pekee. Mafunzo ya uelewa yanahitaji idadi kubwa ya kazi zenye changamoto za ubora wa juu. Kupata data kama hiyo ni ngumu; kuizalisha kwa njia ya synthetic ni ngumu zaidi. Tatizo na data ya synthetic sio tu uhalisi; wengi wanasema ubora ni duni. Zaidi ya hayo, ufanisi wa mbinu hii nje ya maeneo yaliyopangwa sana kama vile hesabu na programu za kompyuta bado haujulikani. Walakini, miradi kama vile “Utafiti wa Kina” katika ChatGPT, ambayo hutumia toleo lililorekebishwa maalum la o3, inapendekeza uwezekano wa matumizi mapana.
Kazi za nyuma ya pazia za gharama kubwa, kama vile kuchagua kazi zinazofaa, kubuni kazi za malipo, na kukuza mikakati ya mafunzo, pia huleta changamoto. Gharama hizi za maendeleo, ambazo mara nyingi hutengwa kutoka kwa makadirio ya hesabu, huchangia sana gharama ya jumla ya mafunzo ya uelewa.
Licha ya changamoto hizi, OpenAI na watengenezaji wengine wanabaki na matumaini. Kama Epoch AI inavyoona, curves za kupima mafunzo ya uelewa kwa sasa zinafanana na maendeleo ya kitamaduni ya kumbukumbu-linear yanayoonekana katika mafunzo ya awali. Zaidi ya hayo, o3 inaonyesha faida kubwa sio tu katika hesabu lakini pia katika kazi za programu zinazotegemea mawakala, kuashiria uwezo mwingi wa mbinu hii mpya.
Mustakabali wa maendeleo haya unategemea uwezo wa kupima mafunzo ya uelewa - kitaalam, kiuchumi, na kwa upande wa yaliyomo. Pointi zifuatazo zinachunguza mambo kadhaa muhimu ambayo yataamua mustakabali wa mifumo hii:
- Uwezo wa Kupima Kitaalam: Unarejelea uwezo wa kuongeza rasilimali za kompyuta zinazotumiwa katika mafunzo bila kukutana na vikwazo visivyoweza kushinda vya kiufundi. Hii ni pamoja na maendeleo katika vifaa, programu, na algorithms ili kutumia kwa ufanisi datasets kubwa na miundombinu ya kompyuta yenye nguvu zaidi. Kadiri mifumo inavyokua kwa ukubwa na utata, uwezo wa kupima kitaalam unakuwa muhimu zaidi kwa maendeleo endelevu. Usanifu msingi utahitaji kubadilika ili kuendana na ukubwa kamili wa mifumo.
- Uwezo wa Kupima Kiuchumi: Unahusu uwezekano wa kuongeza rasilimali za kompyuta ndani ya vikwazo vya bajeti vinavyofaa. Ikiwa gharama ya kupimia mafunzo linear au kielelezo na ukubwa wa mfumo, inaweza kuwa ghali sana kufuata faida zaidi. Kama hivyo, mafunzo ya bei nafuu na yenye ufanisi zaidi yanaweza kuwa muhimu. Ubunifu katika vifaa na mbinu za uboreshaji ambazo hupunguza gharama kwa kila FLOP ni muhimu kwa uwezo wa kupima kiuchumi. Mwelekeo umekuwa kulenga mifumo mikubwa zaidi lakini kwa bajeti ndogo, motisha zitabadilika kufunza mifumo yenye ufanisi zaidi.
- Uwezo wa Kupima Maudhui: Huangazia upatikanaji wa data bora ya mafunzo ambayo inaweza kuendesha kwa ufanisi faida katika uwezo wa uelewa. Kadiri mifumo inavyokuwa ngumu zaidi, datasets ngumu zaidi na tofauti zinahitajika kuzichallenge na kuzuia urekebishaji mwingi. Upatikanaji wa datasets kama hizo ni mdogo, hasa katika maeneo ambayo yanahitaji uelewa changamano. Mbinu za kuzalisha data za synthetic zinaweza kusaidia kupunguza kikwazo hiki, lakini lazima zibuniwe kwa uangalifu ili kuepuka upendeleo au usahihi ambao unaweza kudhoofisha utendaji wa mfumo.
Mustakabali wa Kompyuta
Ni rahisi kama watu wa kawaida kufikiria kwamba tuko kwenye njia ya kompyuta isiyo na kikomo. Walakini, kwa kweli, ina kikomo, na katika siku zijazo, kikomo hicho kinaweza kuonekana zaidi. Katika sehemu hii, tutakuwa tukichunguza njia chache ambazo kompyuta inaweza kubadilika katika siku zijazo na jinsi mabadiliko hayo yataathiri tasnia ya LLM.
Kompyuta ya Quantum
Kompyuta ya quantum inawakilisha mabadiliko ya dhana katika hesabu, ikitumia kanuni za mechanics ya quantum kutatua matatizo ambayo hayawezekani kwa kompyuta za kawaida. Ingawa bado iko katika hatua zake za mwanzo, kompyuta ya quantum ina uwezo mkubwa wa kuharakisha mzigo wa kazi wa AI, pamoja na mafunzo ya mfumo wa uelewa. Algorithms za quantum kama vile quantum annealing na variational quantum eigensolvers (VQEs) zinaweza kuimarisha vigezo vya mfumo kwa ufanisi zaidi kuliko mbinu za uimarishaji za kawaida, kupunguza rasilimali za kompyuta zinazohitajika kwa mafunzo. Kwa mfano, algorithms za ujifunzaji wa mashine ya quantum zinaweza kuboresha uimarishaji wa mitandao changamana ya neva, na kusababisha nyakati za mafunzo za haraka na uwezekano bora wa utendaji wa mfumo.
Walakini, changamoto kubwa zinabaki katika kupima kompyuta za quantum na kukuza algorithms za quantum imara. Teknolojia bado ni ya majaribio kwa kiasi kikubwa, na kompyuta za quantum za vitendo zilizo na qubits za kutosha (bits za quantum) na nyakati za mshikamano bado hazipatikani kwa urahisi. Zaidi ya hayo, kukuza algorithms za quantum zilizoundwa kwa kazi maalum za AI kunahitaji utaalam maalum na ni eneo linaloendelea la utafiti. Uchukuzi mkubwa wa kompyuta ya quantum katika AI unabaki miaka kadhaa mbali na ina uwezekano wa kuwa vitendo mara tu kompyuta zinapatikana.
Kompyuta ya Neuromorphic
Kompyuta ya Neuromorphic inaiga muundo na utendaji wa ubongo wa binadamu kufanya hesabu. Tofauti na kompyuta za jadi ambazo zinategemea mantiki ya binary na usindikaji wa mfuatano, chips za neuromorphic hutumia neurons bandia na synapses kuchakata habari kwa njia sambamba na yenye ufanisi wa nishati. Usanifu huu unafaa kwa kazi za AI zinazohusisha utambuzi wa ruwaza, ujifunzaji, na mabadiliko, kama vile mafunzo ya mfumo wa uelewa. Chips za Neuromorphic zinaweza kupunguza matumizi ya nishati na latency inayohusishwa na mafunzo ya mifumo mikubwa ya AI, na kuifanya iwe na gharama nafuu zaidi na endelevu kimazingira.
Loihi ya Intel na TrueNorth ya IBM ni mifano ya chips za neuromorphic ambazo zimeonyesha matokeo ya kuahidi katika matumizi ya AI. Chips hizi zina uwezo wa kufanya kazi changamana za AI kwa matumizi ya chini ya nguvu ikilinganishwa na CPUs za jadi na GPUs. Walakini, kompyuta ya neuromorphic bado ni uwanja mpya, na changamoto zinabaki katika kukuza zana za programu imara na kuboresha algorithms kwa usanifu wa neuromorphic. Zaidi ya hayo, upatikanaji mdogo wa vifaa vya neuromorphic na ukosefu wa utaalam ulioenea katika kompyuta ya neuromorphic umezuii uchukuzi wa teknolojia hii katika matumizi ya AI ya kawaida.
Kompyuta ya Analog
Kompyuta ya Analog hutumia idadi ya kimwili inayoendelea, kama vile voltage au sasa, kuwakilisha na kuchakata habari, badala ya ishara za digital tofauti. Kompyuta za Analog zinaweza kufanya shughuli fulani za hisabati, kama vile usawa tofauti na aljebra linear, haraka sana na kwa ufanisi zaidi kuliko kompyuta za digital, hasa katika kazi ambazo zinaweza kuwa muhimu kwa uelewa. Hesabu ya Analog inaweza kuwa muhimu kwa kufunza mifumo au kuendesha inference inapotakiwa.
Walakini, kompyuta ya analog inakabiliwa na changamoto katika usahihi, uwezo wa kupima, na programu. Mizunguko ya Analog huathiriwa na kelele na drift, ambayo inaweza kupunguza usahihi wa hesabu. Kupima kompyuta za analog ili kushughulikia mifumo mikubwa na changamana ya AI pia ni changamoto ya kiufundi. Zaidi ya hayo, programu ya kompyuta za analog kwa kawaida inahitaji utaalam maalum na ni ngumu zaidi kuliko programu ya kompyuta za digital. Licha ya changamoto hizi, kuna nia inayoongezeka katika kompyuta ya analog kama mbadala wa kompyuta ya digital kwa matumizi maalum ya AI, hasa yale ambayo yanahitaji kasi kubwa na ufanisi wa nishati.
Kompyuta Iliyosambazwa
Kompyuta iliyosambazwa inahusisha kusambaza mizigo ya kazi ya AI kwenye mashine nyingi au vifaa vilivyounganishwa na mtandao. Mbinu hii inaruhusu mashirika kutumia nguvu ya pamoja ya kompyuta ya idadi kubwa ya rasilimali ili kuharakisha mafunzo ya AI na inference. Kompyuta iliyosambazwa ni muhimu kwa kufunza mifumo mikubwa ya lugha (LLMs) na mifumo mingine changamana ya AI ambayo inahitaji datasets kubwa na rasilimali za kompyuta.
Mifumo kama vile TensorFlow, PyTorch, na Apache Spark hutoa zana na APIs kwa kusambaza mizigo ya kazi ya AI kwenye makundi ya mashine. Mifumo hii inaruhusu mashirika kupima uwezo wao wa AI kwa kuongeza rasilimali zaidi za kompyuta inavyohitajika. Walakini, kompyuta iliyosambazwa inaleta changamoto katika usimamizi wa data, gharama ya mawasiliano, na ulandanishi. Kusambaza data kwa ufanisi kwenye mashine nyingi na kupunguza ucheleweshaji wa mawasiliano ni muhimu kwa kuongeza utendaji wa mifumo ya AI iliyosambazwa. Zaidi ya hayo, kuhakikisha kwamba mashine au vifaa tofauti vinasawazishwa vizuri na kuratibiwa ni muhimu kwa kufikia matokeo sahihi na ya kuaminika.
Hitimisho
Njia ya mifumo ya uelewa imeunganishwa bila shaka na upatikanaji na uwezo wa kupima rasilimali za kompyuta. Ingawa kasi ya sasa ya maendeleo inayoendeshwa na kuongezeka kwa hesabu inashangaza, mambo kadhaa, ikiwa ni pamoja na uhaba wa data bora ya mafunzo, kuongezeka kwa gharama ya hesabu, na kuibuka kwa mitindo mbadala ya kompyuta, zinaonyesha kwamba enzi ya upimaji wa hesabu usiozuiliwa inaweza kuwa inakaribia mipaka yake. Mustakabali wa mifumo ya uelewa huenda utategemea uwezo wetu wa kushinda mapungufu haya na kuchunguza mbinu mpya za kuboresha uwezo wa AI. Kwa habari hii yote, tunaweza kudhani kwamba kuongezeka kwa uwezo wa mfumo wa uelewa kunaweza kuanza kupungua hivi karibuni kwa moja ya vizuizi vingi vilivyojadiliwa.