OpenAI యొక్క GPT-4.5 శిక్షణ: ఒక లోతైన విశ్లేషణ

OpenAI తన అత్యంత ప్రతిష్టాత్మక నమూనా అయిన GPT-4.5 అభివృద్ధి గురించి వివరాలను పంచుకుంది. నమూనా విడుదలైన నెల తర్వాత, OpenAI సహ వ్యవస్థాపకుడు మరియు CEO సామ్ ఆల్ట్‌మన్, GPT-4.5 ప్రాజెక్ట్ నుండి ముగ్గురు కీలక సాంకేతిక నిపుణులతో కలిసి 45 నిమిషాల సంభాషణలో ఈ విషయం వెల్లడైంది. చర్చలో గతంలో తెలియని సవాళ్లు, గణనీయమైన కాలక్రమం, కంప్యూటేషనల్ క్లస్టర్‌లో తరచుగా వైఫల్యాలు మరియు పనితీరు మెరుగుదలకు ఊహించని మార్గాలు ఉన్నాయి.

GPT-4.5 యొక్క ఆవిర్భావం: రెండు సంవత్సరాల ఒడిస్సీ

GPT-4.5 చొరవ, దాని ప్రారంభానికి రెండు సంవత్సరాల ముందు రూపొందించబడింది, ఇది OpenAI యొక్క అత్యంత ఖచ్చితమైన ప్రణాళికాబద్ధమైన ప్రయత్నానికి ప్రాతినిధ్యం వహిస్తుంది. దీనికి వందలాది మంది వ్యక్తుల సమష్టి కృషి అవసరం, ఆల్ట్‌మన్ ప్రాజెక్ట్ OpenAIలో ‘దాదాపు ప్రతి ఒక్కరినీ’ సమర్థవంతంగా నిమగ్నం చేసిందని పేర్కొన్నారు. ఈ విస్తృత ప్రమేయం సంస్థ యొక్క విస్తృత మిషన్‌లో GPT-4.5 యొక్క వ్యూహాత్మక ప్రాముఖ్యతను నొక్కి చెబుతుంది.

అభివృద్ధి దశలో, OpenAI బృందం ‘విపత్తు సమస్యలు’ అని పిలిచే వాటిని ఎదుర్కొంది. 100,000 GPU క్లస్టర్ యొక్క విస్తరణ అరుదైన ఇంకా లోతైన వైఫల్యాలుగా వ్యక్తమయ్యే అంతర్గత మౌలిక సదుపాయాల బలహీనతలను బహిర్గతం చేసింది. సౌలభ్యం మరియు సరైన పనితీరు మధ్య సమతుల్యతను సాధించడానికి, సిస్టమ్ ఇంజనీర్లు ఒక పునరావృత విధానాన్ని అవలంబించారు, తప్పనిసరిగా ‘నిర్మించడం మరియు పరిష్కరించడం’ ఏకకాలంలో చేశారు. ఒక ప్రత్యేకమైన బగ్ క్లస్టర్‌ను పునరావృత లోపాలతో బాధించింది, శిక్షణ ప్రక్రియ దాదాపు 40% పూర్తయ్యే వరకు గుర్తించబడలేదు.

విచిత్రమేమిటంటే, ఈ ప్రయత్నాలు OpenAI యొక్క సాంకేతిక పునాదిని బలోపేతం చేయడానికి దోహదపడ్డాయి. పొందిన నైపుణ్యం ఇప్పుడు కేవలం 5-10 మంది వ్యక్తుల బృందాన్ని GPT-4 యొక్క పరిమాణంలో ఒక నమూనాను ప్రతిబింబించడానికి అనుమతిస్తుంది. GPT-4 నుండి GPT-4.5కి పనితీరు పెరుగుదల, సుమారు పది రెట్లు ఉంటుందని అంచనా వేయబడింది, ఇది ‘ఖచ్చితంగా మెరుగుపరచబడిన తెలివితేటలను లెక్కించడం కష్టం’, OpenAIలోని వారిని కూడా ఆశ్చర్యపరిచింది. ఈ గుణాత్మకమైన పురోగతి సాధారణ స్కేలింగ్‌కు మించిన పురోగతిని సూచిస్తుంది, తార్కికత మరియు అర్థం చేసుకునే నమూనా సామర్థ్యంలో ప్రాథమిక మెరుగుదలలను సూచిస్తుంది.

ముందుకు చూస్తే, పనితీరులో తదుపరి క్రమాన్ని సాధించడం కంప్యూటేషనల్ శక్తిపై మాత్రమే కాకుండా డేటా సామర్థ్యంపై ఆధారపడి ఉంటుందని OpenAI గుర్తించింది. ఇప్పటికే ఉన్న డేటాసెట్‌ల నుండి మరింత జ్ఞానాన్ని సంగ్రహించగల అల్గారిథమ్‌లను అభివృద్ధి చేయడంపై దృష్టి మారుతోంది, తద్వారా అందుబాటులో ఉన్న కంప్యూట్ వనరుల వినియోగాన్ని పెంచుతుంది.

అంతేకాకుండా, ఆర్కిటెక్చర్ ఒకే-క్లస్టర్ నుండి బహుళ-క్లస్టర్ డిజైన్‌కు అభివృద్ధి చెందుతోంది, భవిష్యత్తులో 10 మిలియన్ల GPUల వరకు సహకార అభ్యాసం పాల్గొనే శిక్షణ దృశ్యాలను ఊహించింది. ఇటువంటి పెద్ద-స్థాయి పంపిణీ చేయబడిన వ్యవస్థల స్థిరత్వం మరియు విశ్వసనీయతను నిర్ధారించడానికి లోపం సహనంలో గణనీయమైన మెరుగుదలలు అవసరం.

సంభాషణ డేటా యొక్క ‘లాంగ్ టెయిల్’ మరియు స్కేలింగ్ సూత్రాల మధ్య సంబంధం, మెషిన్ లెర్నింగ్ మరియు సిస్టమ్స్ బృందాల మధ్య సన్నిహిత సహకారం (సహ-రూపకల్పన), పర్యవేక్షణ లేని అభ్యాసం యొక్క సారాంశం మరియు ఖచ్చితమైన సమస్య పరిష్కార సంస్కృతి గురించి కూడా చర్చించింది.

GPT-4.5 వెనుక ఉన్న కీలక ఆటగాళ్ళు

ఆల్ట్‌మన్‌తో పాటు, ఈ సంభాషణలో పాల్గొన్న ఇతర ముగ్గురు OpenAI బృంద సభ్యులు:

• అలెక్స్ పెయినో: GPT-4.5 యొక్క ముందస్తు శిక్షణ మెషిన్ లెర్నింగ్ అల్గారిథమ్‌లకు బాధ్యత వహిస్తారు.
• అమిన్ టూటూన్చియన్: OpenAI యొక్క చీఫ్ సిస్టమ్ ఆర్కిటెక్ట్.
• డేనియల్ సెల్సామ్: డేటా సామర్థ్యం మరియు అల్గారిథమ్‌లపై పరిశోధనలు చేస్తారు.

GPT-4.5 యొక్క మూలాలు మరియు పరిణామం

సామ్ ఆల్ట్‌మన్: GPT-4.5 వంటి పెద్ద నమూనాను నిర్మించడానికి నిజంగా ఏమి అవసరం?

అలెక్స్ పెయినో: మేము ఈ ప్రాజెక్ట్‌ను రెండు సంవత్సరాల క్రితం ప్రారంభించాము. ఆ సమయంలో, OpenAI ఒక కొత్త పెద్ద కంప్యూటింగ్ క్లస్టర్‌ను ప్రారంభించబోతోంది మరియు మా బృందం ఈ అవకాశాన్ని చూసింది మరియు నమూనాలో చేర్చవలసిన విధులను గుర్తించడానికి అనేక పనులను చేసింది మరియు పెద్ద సంఖ్యలో రిస్క్ తగ్గింపు కార్యకలాపాల పరీక్షలను నిర్వహించింది.

మేము దీని కోసం ఒక సుదీర్ఘ ప్రణాళికను అభివృద్ధి చేశాము, సిస్టమ్ నుండి మెషిన్ లెర్నింగ్ వరకు మొత్తం సాంకేతికత స్టాక్‌ను కలిగి ఉంది. నష్టాలను తగ్గించడం మరియు శిక్షణ కోసం సిద్ధం చేయడం అనేది ఒక సుదీర్ఘ అమలు ప్రక్రియ, మరియు శిక్షణ కూడా చాలా పెద్ద ప్రాజెక్ట్.

అమిన్ టూటూన్చియన్: ప్రారంభం నుండి మెషిన్ లెర్నింగ్ బృందం మరియు సిస్టమ్ బృందం మధ్య సన్నిహిత సహకారం అవసరమని నేను భావిస్తున్నాను, మేము శిక్షణ ఇవ్వాలనుకుంటున్న నమూనా ఏమిటో మాకు స్పష్టంగా తెలిసే వరకు, ఆపై శిక్షణ ప్రారంభించండి.

మేము మెషిన్ లెర్నింగ్ మరియు సిస్టమ్‌లలో అంచనాలు వేసాము, అంచనాలు మరియు వాస్తవికత మధ్య అంతరాన్ని తగ్గించడానికి ప్రయత్నిస్తున్నాము. అయితే, మా పని విధానం చాలా వేగంగా ఉంది మరియు మేము తాజా కంప్యూటింగ్ వనరులను ఉపయోగించవలసి ఉన్నందున, నమూనా శిక్షణ అనేది ముందుగానే ఖచ్చితంగా ప్లాన్ చేయడం కష్టం.

మేము దాదాపు ఎల్లప్పుడూ పరిష్కరించని సమస్యలతో శిక్షణను ప్రారంభిస్తాము మరియు ప్రక్రియలో సవాళ్లను అధిగమించడానికి మరియు పురోగతి సాధించడానికి ప్రయత్నిస్తాము. ప్రధాన పరిష్కారం మరింత కంప్యూటింగ్ వనరులను పెంచడం.

తుది దశ అమలు, శిక్షణ ప్రక్రియను పూర్తి చేయడానికి చాలా మంది ప్రజలు చాలా శక్తిని మరియు ప్రేరణను చాలా కాలం పాటు పెట్టుబడి పెట్టాలి.

సామ్ ఆల్ట్‌మన్: మా అంచనాలు మరియు వాస్తవికత మధ్య అంతరం ఎంత ఉంటుందని మీరు అనుకుంటున్నారు?

అమిన్ టూటూన్చియన్: సిస్టమ్ పరంగా, ప్రారంభంలో, మేము సాధారణంగా ఆశించిన స్థితికి చాలా దూరంగా ఉంటాము. సమస్య పరిష్కరించబడే వరకు ప్రారంభాన్ని వాయిదా వేయాలా లేదా ప్రారంభంలో ప్రారంభించి ప్రక్రియలో సమస్యను పరిష్కరించాలా అనే ఎంపికను మేము ఎల్లప్పుడూ ఎదుర్కొంటాము. ప్రక్రియలో అసమంజసమైన ఆలస్యాన్ని నివారించడానికి ఇది ఎల్లప్పుడూ రాజీ పడవలసి ఉంటుంది.

కానీ దాదాపు ఎల్లప్పుడూ ఊహించని సమస్యలు ఉంటాయి, మరియు మనం చేయవలసింది ఏమిటంటే, ఈ నోడ్‌లను వీలైనంత వరకు నిర్వహించడం, తెలియని అంశాలతో వ్యవహరించడం మరియు నమూనా శిక్షణ కోసం ఒక ప్రణాళికను రూపొందించడం.

అలెక్స్ పెయినో: ఈ ప్రాజెక్ట్‌లో, మా లక్ష్యం GPT-4.5ని తయారు చేయడం, అంటే దాని సామర్థ్యాలు GPT-4 కంటే 10 రెట్లు తెలివిగా ఉండాలి. ఇది మేము 2 సంవత్సరాల క్రితం నిర్దేశించుకున్న ప్రారంభ లక్ష్యం.

ఈ ప్రక్రియలో చాలా విషయాలు జరిగాయి. మేము expected కంటే మెరుగ్గా లేదా అధ్వాన్నంగా చేయగలమా అని ఆలోచిస్తున్నాము? ఇది చాలా క్లిష్టమైన ప్రక్రియ, కానీ చివరికి, మేము ఉంచిన ప్రభావవంతమైన లెక్కల పరంగా, మేము GPT-4 కంటే 10 రెట్లు తెలివైన నమూనాను పొందాము అని మేము భావిస్తున్నాము.

అమిన్ టూటూన్చియన్: అమలు పరంగా, GPT-4.5 ప్రాజెక్ట్‌లో గడిపిన సమయం మేము మొదట expected కంటే చాలా దూరంగా ఉంది.

లీన్ టీమ్ విప్లవం: కనిష్ట వనరులతో GPT-4కి శిక్షణ

సామ్ ఆల్ట్‌మన్: క్లస్టర్ 10,000 కార్డుల నుండి 100,000 కార్డులకు విస్తరించినప్పుడు, మీరు చాలా సమస్యలను ఎందుకు ఎదుర్కొన్నారు?

అమిన్ టూటూన్చియన్: సిస్టమ్ డెవలపర్‌లు తగినంత సున్నితంగా ఉంటే, చాలా సమస్యలను చిన్న-స్థాయి దశలో గమనించవచ్చు అని నేను అనుకుంటున్నాను.

పెద్ద-స్థాయి శిక్షణ దశకు ప్రత్యేకమైనవి కాని కొన్ని సమస్యలు కూడా ఉన్నాయి, కానీ వాస్తవానికి తరచుగా సంభవించాయి, అయితే స్కేల్ పెరిగిన తర్వాత విపత్తు సమస్యలుగా మారుతాయి, ప్రత్యేకించి ఈ సమస్యలు ముందుగానే ఎంత తీవ్రంగా క్షీణిస్తాయోనని బృందం ఊహించనప్పుడు.

సామ్ ఆల్ట్‌మన్: వినాశకరమైన పరిణామాలను కలిగించిన విషయాలు ఏమిటి?

అమిన్ టూటూన్చియన్: మౌలిక సదుపాయాల సమస్యలు బాగా తెలిసినవని నేను అనుకుంటున్నాను. వైఫల్యం రేటు, వైఫల్యం రకం మరియు వైఫల్యాల మొత్తం మొత్తం చాలా ఎక్కువగా ఉన్నాయి. 100,000 కార్డ్ క్లస్టర్ ఒక పెద్ద-స్థాయి నమూనా పూల్, కాబట్టి కంప్యూటింగ్ పవర్ సరఫరాదారు గమనించని సమస్యలను కూడా మేము కనుగొన్నాము.

నెట్‌వర్క్ దానిలో ఒక భాగం, మరియు వ్యక్తిగత యాక్సిలరేటర్‌లకు కూడా సమస్యలు ఉండవచ్చు. కానీ ఇది ఈ సిస్టమ్ యొక్క అందం కూడా - expected ఫలితాలను ఉత్పత్తి చేయడానికి దాదాపు అన్ని భాగాలు expected విధంగా పని చేయాలి. ఈ సమస్యను వీలైనంత వరకు తగ్గించడం మా పని.

సామ్ ఆల్ట్‌మన్: క్లస్టర్ స్కేల్ పరిమితిలో పని చేయడం నిజంగా కష్టం, అయితే సాంకేతికత యొక్క ముందు వరుసలో లేని పనులు చేయడం చాలా సులభం అయిందని నేను గమనించాను. GPT-4.5కి శిక్షణ ఇవ్వడానికి వందలాది మంది ప్రజలు అవసరం, మరియు OpenAIలోని దాదాపు ప్రతి ఒక్కరూ ఇందులో పాల్గొన్నారు.

కానీ ఈ రోజు, OpenAI నుండి చిన్న బృందాన్ని ఎంచుకుని, మాకు తెలిసిన జ్ఞానం మరియు మొత్తం సిస్టమ్ పనితో GPT-4ని మొదటి నుండి తిరిగి శిక్షణ ఇవ్వమని మిమ్మల్ని అనుమతిస్తే, ఎంత మంది వ్యక్తులు అవసరం అవుతారు?

అలెక్స్ పెయినో: GPT-4-స్థాయి నమూనాని ఇప్పుడు చేయడానికి సుమారు 5 నుండి 10 మంది వ్యక్తులు అవసరం అని నేను అనుకుంటున్నాను. GPT-4.5ని పూర్తి చేసే ప్రక్రియలో సాంకేతికత స్టాక్ బాగా మెరుగుపడింది.

వాస్తవానికి, మేము GPT-4.5కి శిక్షణ ఇచ్చే ప్రక్రియలో ఇలాంటి పనులు చేసాము - మేము GPT-4oకి శిక్షణ ఇచ్చాము, ఇది GPT-4-స్థాయి నమూనా మరియు GPT-4.5 పరిశోధన ప్రాజెక్ట్ నుండి చాలా సమానమైన కంటెంట్‌ను ఉపయోగించి తిరిగి శిక్షణ ఇచ్చాము. ఆ శిక్షణకు తక్కువ మంది వ్యక్తులు ఉపయోగించబడ్డారు.

డేటా సామర్థ్యం: నమూనాల తదుపరి తరాన్ని అన్‌లాక్ చేయడానికి కీలకం

సామ్ ఆల్ట్‌మన్: మీ కోణం నుండి, డాన్? పెద్ద నమూనాలకు శిక్షణ ఇవ్వడం ఎందుకు కష్టం?

డేనియల్ సెల్సామ్: ఏదైనా కొత్తది చేయడం కష్టం అని నేను అనుకుంటున్నాను. వేరొకరు ఏదైనా చేశారని కనుగొనడం కూడా దానిని మరింత సులభతరం చేస్తుంది అని నేను అనుకుంటున్నాను, ఎందుకంటే మీరు ఏదైనా చేయగలరని నమ్మకం కలిగి ఉండటమే చాలా కష్టం. ఏదైనా సాధ్యమేనని తెలుసుకోవడం ఒక సూపర్ చీట్ కోడ్ అని నేను అనుకుంటున్నాను, ఇది విషయాలను చాలా సులభతరం చేస్తుంది.

అలెక్స్ పెయినో: మేము GPT ముందస్తు శిక్షణ ఆపరేషన్‌ను ఇంతకు ముందు ఉన్నదానికంటే 10 రెట్లు విస్తరిస్తున్నాము మరియు మీరు ఖచ్చితంగా అంచనా వేయలేని కొన్ని ఆసక్తికరమైన కొత్త విషయాలను మేము ఎల్లప్పుడూ కనుగొంటాము.

సామ్ ఆల్ట్‌మన్: ముందస్తు శిక్షణ స్కేల్‌లో తదుపరి 10x లేదా 100x వృద్ధిని సాధించడానికి ఏమి అవసరం?

డేనియల్ సెల్సామ్: డేటా సామర్థ్యం. ట్రాన్స్‌ఫార్మర్ ఆర్కిటెక్చర్ (ఇది GPT) డేటాను ఉపయోగించడంలో చాలా సమర్థవంతంగా ఉంటుంది. ఇది సమాచారాన్ని బాగా గ్రహించి మరియు కుదించగలదు మరియు సాధారణీకరణను సాధించగలదు. దీని యొక్క అతిపెద్ద లక్షణం ఏమిటంటే, ఇది కంప్యూటింగ్ వనరులతో సమాచారాన్ని సమర్థవంతంగా గ్రహించగలదు.

అయితే, డేటా నుండి పొందే అంతర్దృష్టి యొక్క లోతు పరిమితం చేయబడింది. కంప్యూటింగ్ శక్తి వేగంగా పెరుగుతున్నప్పుడు డేటా సాపేక్షంగా నెమ్మదిగా పెరుగుతున్నప్పుడు, ఈ ప్రామాణిక నమూనాలో డేటా అడ్డంకిగా మారుతుంది. దీనికి అల్గారిథమిక్ ఆవిష్కరణ అవసరం, అదే మొత్తంలోని డేటా నుండి మరింత జ్ఞానాన్ని నేర్చుకోవడానికి మరింత కంప్యూటింగ్ శక్తిని ఉపయోగించగల పద్ధతులను అభివృద్ధి చేయడం అవసరం.

సామ్ ఆల్ట్‌మన్: దీనితో పాటు విస్తరణను కొనసాగించడానికి మనకు ఇంకా ఏమి అవసరమని మీరు అనుకుంటున్నారు?

అమిన్ టూటూన్చియన్: నా సమాధానం సిస్టమ్ గురించి. GPT-4.5 కోసం అవసరమైన పని యొక్క భారీ మొత్తం నమూనా స్పెసిఫికేషన్‌ల యొక్క అనివార్య ఫలితం అని నేను అనుకుంటున్నాను. GPT-4 వలె సరిగ్గా అదే సాంకేతిక నిర్మాణంతో మేము GPT-4.5కి శిక్షణ ఇవ్వలేము.

రాష్ట్ర నిర్వహణ పరంగా, అవసరమైన కంప్యూటింగ్ వనరులు ఒకే క్లస్టర్ యొక్క మోసే సామర్థ్యాన్ని మించిపోయినందున, మేము బహుళ-క్లస్టర్ శిక్షణ నిర్మాణానికి మారాలి. ఈ లక్ష్యాన్ని సాధించడానికి, మేము స్వల్ప సమయంలో బహుళ విభిన్న వర్క్‌ఫ్లోలను ఏకీకృతం చేయాలి.

ఇది మాకు దశల వారీ పురోగతిని సాధించడంలో సహాయపడినప్పటికీ, పనితీరు మెరుగుదల యొక్క తదుపరి క్రమాన్ని సాధించడానికి, మనకు తెలిసిన కానీ తాత్కాలికంగా నిలిపివేయబడిన అనేక సాంకేతిక సమస్యలను మనం పరిష్కరించాలి - ఈ సమస్యలను నివారించలేము. సరైన అమలు ప్రణాళికను అనుసరించే ప్రక్రియలో సాంకేతిక రాజీ పడటం వల్ల అభివృద్ధి చక్రం నిరంతరం పొడిగించబడుతోంది. మేము ఎల్లప్పుడూ వ్యూహాత్మక రాజీలను చేస్తున్నాము.

సిస్టమ్ స్వయంగా అంతిమ లక్ష్యం కాదని స్పష్టం చేయాలి. దాని అసలు అవుట్‌పుట్ విలువ ప్రధాన పరిశీలన. తదుపరి 10x పనితీరు మెరుగుదల కోసం, లోపం సహనంలో పురోగతి చాలా కీలకమని నేను అనుకుంటున్నాను. ఆపరేషన్ మరియు నిర్వహణ ఆందోళనను గణనీయంగా తగ్గించడానికి వర్క్‌లోడ్‌తో లోతుగా సహకరించే లోపం-సహన యంత్రాంగాన్ని మనం నిర్మించాలి. ప్రస్తుత సూపర్‌-లార్జ్ సిస్టమ్ యొక్క ఆపరేషన్ మరియు నిర్వహణ సంక్లిష్టత గతంలోని సిస్టమ్‌ల నుండి చాలా భిన్నంగా ఉంది.

సామ్ ఆల్ట్‌మన్: GPT-4.5 శిక్షణ సమయంలో కొన్ని భాగాల వల్ల ఎంత శాతం వైఫల్యాలు సంభవించాయో మీకు తెలుసా?

అమిన్ టూటూన్చియన్: పంచుకోవడానికి నాకు నిర్దిష్ట గణాంకాలు లేవు, అయితే సాధారణంగా, కొత్త తరం హార్డ్‌వేర్ యొక్క ప్రారంభ విస్తరణ పూర్తిగా అర్థం కాని అనేక సాంకేతిక సవాళ్లను ఎదుర్కొంటుంది. సమస్య పూర్తిగా స్పష్టం చేయడానికి ముందే మేము ప్రాజెక్ట్‌ను ముందుకు తీసుకురావాలని ఎంచుకున్నాము, ఇది ప్రారంభ వైఫల్యం రేటు ఎక్కువగా ఉండటానికి దారితీసింది.

కానీ అనుభవం ప్రకారం, మూల కారణం గుర్తించబడి పరిష్కరించబడినందున, వైఫల్యం రేటు గణనీయంగా తగ్గుతుంది. ఈ దృగ్విషయం తప్పనిసరిగా మౌలిక సదుపాయాలపై మన అవగాహనను ప్రతిబింబిస్తుంది - కొంతమంది దీనిని మౌలిక సదుపాయాలను శుభ్రపరచడం లేదా మౌలిక సదుపాయాల యొక్క ప్రాథమిక సమస్యలను అర్థం చేసుకోవడం అని పిలుస్తారు.

అమలు యొక్క ప్రారంభ దశలు దాదాపు ఎల్లప్పుడూ చాలా బాధాకరంగా ఉంటాయి. మేము ప్రాజెక్ట్‌ను ముందుకు తీసుకువెళుతున్నప్పుడు, మేము నిరంతరం కొత్త వైఫల్యం మోడ్‌లను కనుగొని పరిష్కరిస్తున్నాము, కానీ చివరికి వైఫల్యం రేటు క్రమంగా తగ్గుతుంది మరియు సాధారణ అమలు సమయం పెరుగుతుంది.

ఇది తప్పనిసరిగా ప్రాధాన్యత రాజీల విషయం: మౌలిక సదుపాయాల జీవిత చక్రం యొక్క ప్రారంభ దశలలో, దాని వైఫల్యం ప్రమాదాన్ని ఖచ్చితంగా అంచనా వేయడం తరచుగా కష్టం; మరియు మేము ఎక్కువగా అంతిమ ఆదర్శ స్థితిని (అసలైనది ‘సిటీ ఎస్టేట్’, ఆదర్శ నగర-రాష్ట్ర రూపకల్పన) అనుసరిస్తే, సిస్టమ్ ప్రారంభ లభ్యత పనితీరు చాలా పేలవంగా ఉండటానికి దారితీయవచ్చు.

కంప్యూట్‌కు మించి: అల్గారిథమిక్ ఆవిష్కరణ మరియు డేటా యొక్క ఉపయోగించని సామర్థ్యం

సామ్ ఆల్ట్‌మన్: మా భవిష్యత్తు సాంకేతికత స్టాక్‌లో ఊహించిన నమూనా ఒక ముఖ్యమైన భాగం అయినప్పటికీ, తాత్కాలికంగా సాంప్రదాయ ముందస్తు శిక్షణ నమూనాల అభివృద్ధి సరిహద్దులపై దృష్టి పెడదాం. మనకు అపరిమిత GPU కంప్యూటింగ్ శక్తి, అపరిమిత నెట్‌వర్క్ బ్యాండ్‌విడ్త్ మరియు అపరిమిత విద్యుత్ సరఫరా ఉన్నాయని ఊహిస్తే, ఇప్పటికే ఉన్న సాంకేతిక అడ్డంకుల ద్వారా ఇప్పటికీ పరిమితం చేయబడింది - సిస్టమ్ విశ్వసనీయత సమస్యలు, లోపం-సహన శిక్షణ పద్ధతుల కొరత మరియు ఇప్పటికే ఉన్న డేటాసెట్‌ల పరిమితులు ఉన్నాయి.

ప్రతి ప్రధాన GPT సంఖ్యకు 100 రెట్లు స్కేల్ పెరుగుదలను సాధించే మా పరిణామ నియమం ప్రకారం, ప్రస్తుత సాంకేతిక సరిహద్దుల ఆధారంగా, ముందస్తు శిక్షణ నమూనాల అభివృద్ధి ఏ స్థాయికి చేరుకుంటుంది? ప్రత్యేకంగా, GPT సిరీస్ నమూనాల కోసం, మనకు ఉన్న జ్ఞాన వ్యవస్థ ఆధారంగా, సైద్ధాంతికంగా ఏ విధమైన నమూనాకు శిక్షణ ఇవ్వవచ్చు? మనం GPT-5.5ని తయారు చేయగలమా?

అలెక్స్ పెయినో: మెషిన్ లెర్నింగ్ మరియు అల్గారిథమ్ అభివృద్ధి కోణం నుండి, మేము ఇంకా స్పష్టమైన సైద్ధాంతిక పరిమితిని చేరుకోలేదు. వాస్తవానికి, అధిక డేటా సామర్థ్యంతో కూడిన అల్గారిథమ్‌లను అన్వేషించడం మరియు ఇప్పటికే ఉన్న డేటా వనరులను పూర్తిగా ఉపయోగించుకోవడం మేము ఇప్పుడే ప్రారంభించాము. ఈ పరిస్థితి చాలా ఆసక్తికరంగా ఉంది - GPT-4 వంటి నమూనాలు కూడా పరిమిత కంప్యూటింగ్ వనరుల పరిస్థితులలో ఎక్కువగా అభివృద్ధి చేయబడ్డాయి, ఇది మునుపటి పరిశోధన యొక్క దిశను నిర్ణయించింది.

కానీ పరిస్థితి ఇప్పుడు పూర్తిగా భిన్నంగా ఉంది. GPT-4.5 నుండి, కొన్ని ముఖ్య కోణాలలో, కంప్యూటింగ్ కంటే డేటా ప్రధాన పరిమితిగా మారుతోంది. ఈ మార్పు సంబంధిత పరిశోధనను తక్కువ ఉత్తేజకరమైనదిగా చేస్తుంది.

సామ్ ఆల్ట్‌మన్: కానీ ఇది నిజంగా అద్భుతమైన పురోగతి మరియు కంప్యూటింగ్ వనరులు మనం నిర్మించగల ఉత్తమ నమూనాపై ప్రధాన అడ్డంకి కాదని ప్రపంచం పూర్తిగా గ్రహించకపోవచ్చు. ఈ మార్పు చాలా అర్థవంతమైనది, అన్నింటికంటే, మేము చాలా కాలం పాటు కంప్యూటేషనల్‌గా పరిమితం చేయబడిన వాతావరణంలో జీవించాము.

ఆశ్చర్యాలను ఆవిష్కరించడం: అంచనా సామర్థ్యం vs ఊహించని తెలివితేటలు

సామ్ ఆల్ట్‌మన్: GPT-4.5 శిక్షణ సమయంలో మనం నేర్చుకున్న అత్యంత ఆసక్తికరమైన మెషిన్ లెర్నింగ్ అనుభవం ఏమిటి? మీరు పంచుకోవాలనుకున్నది చెప్పండి.

అమిన్ టూటూన్చియన్: సాధారణంగా, మన అంచనాల నుండి వైదొలిగే విషయాలు చాలా ఆలోచింపజేసేవి - ముఖ్యంగా వాస్తవ పనితీరు expected వక్రరేఖ నుండి ఎందుకు వైదొలిగిందో అర్థం చేసుకోవడానికి మనం ప్రయత్నించినప్పుడు.

అలెక్స్ పెయినో: విభిన్న మెషిన్ లెర్నింగ్ భాగాలు చాలా విభిన్నమైన స్కేలబిలిటీ పనితీరులను కలిగి ఉన్నాయని మాకు ఆశ్చర్యం కలిగించిన ఆవిష్కరణలలో ఒకటి. కొన్ని భాగాలు చాలా బాగా విస్తరించగలవు, మరికొన్ని చేయలేవు. వాస్తవ శిక్షణ ప్రక్రియలో మేము నిజంగా గ్రహించినది ఇది. ఈ అనుభవం మాకు చాలా స్ఫూర్తినిచ్చింది.

డేనియల్ సెల్సామ్: GPT నమూనా యొక్క రెండు ప్రధాన లక్షణాలు అని నేను అనుకుంటున్నాను: మొదట, పరీక్ష నష్టం (నమూనా కనిపించని పరీక్ష డేటాపై ఎంత బాగా పనిచేస్తుందో కొలిచే కొలమానం) ఖచ్చితంగా అంచనా వేయవచ్చు; రెండవది, నమూనా పనితీరు స్కేల్‌లో పెరుగుదలతో అంచనా వేయదగిన మెరుగుదలని చూపుతుంది. పరీక్ష నష్టంలో తగ్గింపు వివిధ రకాలైన కష్టతరమైన-పరిమాణీకరించడానికి కానీ అద్భుతమైన మరియు రహస్యమైన మార్గాల్లో సమగ్రంగా మెరుగుపరచబడిన తెలివితేటల స్థాయిగా మారుతుంది అనేది మరింత అద్భుతంగా ఉంది.

సామ్ ఆల్ట్‌మన్: మీరు దీని గురించి ఖచ్చితంగా ఆశాజనకంగా ఉన్నారా? మీరు ఈ దృక్పథంతో పూర్తిగా ఏకీభవిస్తారా?

డేనియల్ సెల్సామ్: వాస్తవానికి, నేను చెప్పాలనుకుంటున్నది ఏమిటంటే, GPT-4.5 పరీక్షలో మేము ప్రత్యేకంగా ఆసక్తికరమైన దృగ్విషయాన్ని కనుగొన్నాము - తిరిగి పరీక్షించిన తర్వాత, నమూనా చూపిన అనేక అధునాతన సామర్థ్యాలు ప్రతి ఒక్కరి అంచనాలను పూర్తిగా మించిపోయాయి.

ముందుగానే నిర్వచించడం కష్టమైన వివిధ మార్గాల్లో ఇది మరింత తెలివిగా మారుతుందని మేము ఖచ్చితంగా అనుకుంటున్నాము మరియు ఈ సూక్ష్మమైన మెరుగుదలలను వాస్తవ విస్తరణ తర్వాత వినియోగదారు సంతృప్తి నుండి గమనించవచ్చు: బలమైన సాధారణ జ్ఞాన నిల్వలు, మరింత ఖచ్చితమైన సందర్భోచిత అవగాహన సామర్థ్యం మరియు మరింత సూక్ష్మమైన సిమాంటిక్ గ్రాస్ప్ - అదనపు పరీక్ష నష్టాల ద్వారా తీసుకువచ్చిన మాయాజాలం ఇది. నా అభిప్రాయం ప్రకారం, స్కేలింగ్ లా ఈ కోణంలో ఖచ్చితంగా ధృవీకరించబడింది.

సహకారం యొక్క శక్తి: మెషిన్ లెర్నింగ్ మరియు సిస్టమ్స్ బృందాలు సామరస్యంగా పనిచేస్తున్నాయి

సామ్ ఆల్ట్‌మన్: మొత్తం శిక్షణ ప్రక్రియలో అత్యంత సానుకూల క్షణం ఏమిటి? మీకు ఇష్టమైన జ్ఞాపకం ఏమిటి? స్పష్టంగా చాలా బాధ ఉంది, కానీ ఆ నొప్పి ఉపశమనం పొందిందని నేను ఆశిస్తున్నాను.

అలెక్స్ పెయినో: నాకు అలాంటి క్షణం ఉంది. మేము శిక్షణ సమయంలో చాలా మెషిన్ లెర్నింగ్ పని చేసాము మరియు మేము ప్రక్రియలో చేసిన కొన్ని మార్పులు చాలా మంచి ప్రభావాన్ని చూపాయని నేను భావిస్తున్నాను, expected దానికంటే కూడా మంచిగా ఉండవచ్చు, ఇది మాకు చాలా ఉత్తేజకరమైన క్షణం.

అమిన్ టూటూన్చియన్: నాకు, శిక్షణతో పాటు, మేము మౌలిక సదుపాయాలను కూడా నిర్మిస్తున్నాము. మేము ఈ పనితీరు క్లిఫ్‌ను దాటగలమని మేము గట్టిగా నమ్ముతున్నాము, మరియు మాకు ఒక ప్రణాళిక ఉంది మరియు ప్రతి ఒక్కరూ దానిని అమలు చేస్తున్నారు, కానీ దీనికి చాలా సమయం పడుతుంది. ఇది కష్టమైన పని మరియు నేను అనుకున్నదానికంటే ఖచ్చితంగా చాలా కష్టం. నా అంచనా తప్పు, మరియు ఈ సమస్యలను పరిష్కరించడానికి పట్టే సమయాన్ని నేను తక్కువ అంచనా వేసాను.

చివరికి ఆ కీలక సమస్యలను బృందం అధిగమించిన క్షణం మరియు పనితీరు గణనీయంగా మెరుగుపడింది, అది నాకు ఇప్పటికీ గుర్తుంది. మీరు మొత్తం బృందంలో శక్తి మార్పును స్పష్టంగా అనుభవించవచ్చు - ప్రతి ఒక్కరూ అకస్మాత్తుగా శక్తితో నిండిపోయారు మరియు కొత్త ప్రేరణతో తుది లక్ష్యం వైపు దూసుకుపోతున్నారు.

మా స్థితి ట్రాకర్‌లో ప్రదర్శించబడే expected పూర్తి సమయం ప్రారంభ రెండు సంవత్సరాల నుండి నిరంతరం తగ్గిపోతూ, చివరికి స్పష్టమైన సమయ నోడ్‌లో లాక్ అయింది అనేది చాలా అద్భుతంగా ఉంది. బృందం యొక్క నైతికతకు ఈ కనిపించే పురోగతి కొలవలేనిది. ఇది దీని యొక్క అందం అని నేను అనుకుంటున్నాను.

మెషిన్ లెర్నింగ్ పని ఎప్పుడూ ఆగదని నేను నొక్కి చెప్పాలనుకుంటున్నాను. శిక్షణ ప్రారంభించిన తర్వాత కూడా, ఈ మెషిన్ లెర్నింగ్ సహ-రూపకల్పన ప్రక్రియ కొనసాగుతూనే ఉంది. మెషిన్ లెర్నింగ్ బృందం ‘తదుపరి ప్రాసెసింగ్’గా గుర్తించబడిన సమస్యలపై చురుకుగా పాల్గొనడమే కాకుండా, శిక్షణా సమయాన్ని నిజంగా ఆప్టిమైజ్ చేసే మెరుగుదలలను అందించడం కొనసాగించింది.

ఇది మా బృంద స్ఫూర్తిని ఖచ్చితంగా ప్రతిబింబిస్తుంది - ఇక్కడ ‘మీ స్వంత తలుపు ముందు మంచును ఊడ్చుకోవడం’ అనే పని సరిహద్దు లేదు, కానీ నిజంగా అతుకులు లేని సహకారం ఉంది. ఈ ఐక్యత మా గొప్ప ప్రయోజనం.

GPT-4.5 ముందస్తు శిక్షణలో ఖచ్చితమైన ప్రణాళిక మరియు కనికరం లేని అసాధారణతల కొనసాగింపు

డేనియల్ సెల్సామ్: ఈ శిక్షణ యొక్క సవాళ్లు మరియు అంచనా ఖచ్చితత్వం గురించి బాహ్య ప్రపంచం చాలా చర్చించింది. కానీ వాస్తవానికి, ఇదంతా చాలా ఖచ్చితమైన ప్రణాళికపై నిర్మించబడింది - మీరు దీని గురించి మరింత వివరంగా చెప్పగలరా?

అలెక్స్ పెయినో: ఇది ఖచ్చితంగా మనం ఇంతవరకు చేసిన అత్యంత ఖచ్చితమైన ప్రణాళిక. నేను చెప్పినట్లుగా, మేము శిక్షణ యొక్క అధికారిక ప్రారంభానికి ఒక సంవత్సరం ముందు ఈ ప్రాజెక్ట్ కోసం సిద్ధం చేయడం ప్రారంభించాము. ఈ కాలంలో, మేము బహుళ పెద్ద-స్థాయి రిస్క్ కంట్రోల్ టెస్ట్ రన్‌లను నిర్వహించాము.

మేము క్రమంగా అన్ని మెరుగుదలలను ప్రవేశపెట్టడంపై ప్రత్యేక శ్రద్ధ చూపుతాము: అధిక-విశ్వాస ప్రాథమిక కాన్ఫిగరేషన్ నుండి ప్రారంభించి - GPT-4 వంటి పరిణతి చెందిన నిర్మాణంగా అర్థం చేసుకోవచ్చు, మేము ఈ కాన్ఫిగరేషన్‌ను మెషిన్ లెర్నింగ్ స్థాయిలో పూర్తిగా స్వాధీనం చేసుకున్నాము - ఆపై బిల్డింగ్ బ్లాక్‌ల వంటి కొత్త లక్షణాలను పొరలు చేస్తాము.

విభిన్న స్కేల్స్‌లో ప్రతి మెరుగుదల యొక్క స్కేలబిలిటీని ఖచ్చితంగా ధృవీకరించడం కీలకం: పనితీరు మెరుగుదలలను చూడటమే కాకుండా, నమూనా పరిమాణం పెరిగే కొద్దీ ఈ మెరుగుదలలు ప్రభావవంతంగా ఉండటం కొనసాగించబడతాయని నిర్ధారించుకోవాలి. అనేక మెరుగుదలలు చిన్న-స్థాయి పరీక్షలలో బాగా పనిచేస్తాయి, కానీ పెద్ద-స్థాయి అప్లికేషన్‌లలో విఫలమవుతాయి.

కాబట్టి, మేము ప్రక్రియ అంతటా అధిక స్థాయి అప్రమత్తతను కొనసాగించాముమరియు మా స్కేలింగ్ సూత్రం యొక్క పద్ధతిని మెరుగుపరచడం కొనసాగించాము. ఈ రిస్క్ కంట్రోల్ ప్రాక్టీస్ ద్వారా, మేము చాలా విలువైన అనుభవాన్ని కూడగట్టుకున్నాము, ఇది భవిష్యత్తు GPT సిరీస్ నమూనాల అభివృద్ధికి మార్గనిర్దేశం చేయడం కొనసాగిస్తుంది.

అమిన్ టూటూన్చియన్: నాకు చాలా మిస్ అయ్యే ప్రత్యేకంగా ఆసక్తికరమైన క్షణం ఒకటి నాకు గుర్తుంది. మనకు ప్రతి శిక్షణ పనిని ప్రారంభించిన ప్రతిసారీ, కొన్ని బగ్‌లను అనివార్యంగా ఎదుర్కొంటామని మీకు తెలుసు, ఇది సాధారణం. కానీ పురోగతికి ఆటంకం కలగకుండా చూడటమే కీలకం, మరియు ప్రస్తుత పురోగతి నిజంగా సరైన మార్గంలో ఉందా మరియు ఈ బగ్‌లు శిక్షణ యొక్క ఆరోగ్యానికి ప్రాణాంతక ప్రభావాన్ని చూపుతాయా అని మనం ఎల్లప్పుడూ నిర్ధారించాలి.

మేము ప్రారంభంలో ప్రధాన లోపాలు ఉన్నాయని చాలా ఖచ్చితంగా ఉన్నప్పటికీ, మేము నిర్మించిన మొత్తం పర్యవేక్షణ వ్యవస్థ ద్వారా, సమస్య యొక్క మూల కారణాన్ని ఖచ్చితంగా గుర్తించగలిగాము: ఇది హార్డ్‌వేర్ వైఫల్యమా? ఏ రకమైన హార్డ్‌వేర్ వైఫల్యం? ఇది డేటా అవినీతియా? లేదా ఇది మెషిన్ లెర్నింగ్ నమూనాలోనే బగ్గా? లేదా ఇది కోడ్‌లోని రేస్ కండిషనా?

ఆ సమయంలో, మేము ఒకే సమయంలో అనేక సమస్య చర్చా ప్రాంతాలను తెరిచి ఉంచాము, విస్తృత రకాల లక్షణాలతో. బగ్‌ పరిష్కారాల శ్రేణి తర్వాత, మేము ప్రతిష్టంభనకు గురయ్యాము: పరిష్కరించబడని అనేక సమస్యలు మా ముందు పేరుకుపోయాయి, మరియు ప్రతి ఒక్కరూ తమ మెదడును బద్దలు కొడుతున్నారు - ఇవి వేర్వేరు బగ్‌ల వల్ల సంభవించాయా? లేదా ఇది సమస్యలను కలిగిస్తున్న ఒక బగ్గా?

తర్వాత, మేము ఓటు వేసి, చాలా మటుకు మూల కారణానికి ఓటు వేయమని బృంద సభ్యులను కోరాము. ఫలితంగా, కనీసం ఆశాజనకంగా లేని ఎంపిక సత్యాన్ని తాకింది: పైటార్చ్‌లో torch.sum ఫంక్షన్‌తో సమస్య ఉందని తేలింది, ఇది సాధారణ కూడిక ఆపరేషన్.

ఈ బగ్ చాలా ఆసక్తికరంగా ఉంది. మేము ప్రధానంగా ట్రిటాన్ కెర్నల్‌ను ఉపయోగిస్తామని మీకు తెలుసు మరియు కొన్ని అప్రాధాన్యమైన మార్జినల్ దృశ్యాలలో మాత్రమే మనం టార్చ్ ఆపరేషన్‌లకు తిరిగి వస్తాము. మా నిర్దిష్ట కోడ్ పాత్ ద్వారా ప్రేరేపించబడిన torch.sum ఫంక్షన్ బగ్ డేటా పంపిణీ లక్షణాల కారణంగా అప్పుడప్పుడు చట్టవిరుద్ధమైన మెమరీ యాక్సెస్‌కు కారణమవుతుంది - ఇది మెమరీ ఆఫ్‌సెట్‌ను లెక్కిస్తున్నప్పుడు తప్పు చేసింది.

అత్యంత నాటకీయమైన విషయం ఏమిటంటే, ఒక ఇంజనీర్ చివరకు సమస్యను గుర్తించి, ఒక పరిష్కారాన్ని సమర్పించినప్పుడు, విభిన్న లక్షణాలతో కూడిన అన్ని లోపాలు అదృశ్యమయ్యాయి. ప్రతి ఒక్కరూ ఉత్సాహంగా Slack ఛానెల్‌ను ‘మల్టీ-బగ్ థియరీ’ నుండి ‘సింగిల్-బగ్ థియరీ’కి మార్చారు మరియు దృశ్యం చాలా సంతోషంగా ఉంది.

ఈ బగ్ ఎంతకాలం నక్కి ఉండిపోయింది? ఇది శిక్షణ యొక్క ప్రారంభ దశల నుండి ఉంది మరియు పురోగతి బార్ దాదాపు 40% దాటినంత వరకు కనుగొనబడలేదు. కనుగొనే ప్రక్రియ కూడా నాటకీయంగా నిండిపోయింది: ఆ సమయంలో, ఒక సంక్లిష్ట కెర్నల్ నిరంతరం ఒక క్రమాన్ని పిలిచేది మరియు రెండవ కాల్ చట్టవిరుద్ధమైన మెమరీ యాక్సెస్‌ను ప్రేరేపించింది.

ఈ క్రాష్ ఫ్రీక్వెన్సీ చాలా తక్కువగా ఉన్నప్పటికీ (ఇది కొన్ని వందలు లేదా వేల శిక్షణ దశల్లో ఒకసారి మాత్రమే జరుగుతుంది), ఇది అప్పుడప్పుడు సంభవించే వైఫల్యంగా విస్మరించబడటం సులభం, కానీ మా బృందం సూత్రం: ఏ అసాధారణతను విడిచిపెట్టవద్దు. ఈ కథలోని ఉత్తమ భాగం తేలికగా వదులుకోకూడదనే పట్టుదలలో ఉంది.

ఆదర్శ సిస్టమ్‌ల కోసం అన్వేషణ: ఒక సుదూర హోరిజోన్

సామ్ ఆల్ట్‌మన్: GPT-4.5 ముందస్తు శిక్షణ ప్రారంభమైన తర్వాత, మీరు ఇంకా ఏమి చేయాలి?

అలెక్స్ పెయినో: మనమందరం నష్ట వక్రరేఖను తరచుగా గమనించాలి. అదనంగా, మేము సిస్టమ్‌ను నిరంతరం ఆప్టిమైజ్ చేయాలి మరియు శిక్షణ ప్రారంభించడానికి ముందు పూర్తి కాని సహ-రూపకల్పనను మెరుగుపరచాలి. unexpected అసాధారణ పోకడలు లేవని నిర్ధారించడానికి శిక్షణ ప్రక్రియలో మేము వివిధ గణాంక సూచికలను నిశితంగా పర్యవేక్షిస్తాము. అదే సమయంలో, మేము మెషిన్ లెర్నింగ్ కోణం నుండి సాధ్యమయ్యే మెరుగుదల ప్రణాళికలను అన్వేషిస్తాము. ముందస్తు శిక్షణ ప్రారంభమైన తర్వాత డేటా-స్థాయి పని తాత్కాలికంగా తగ్గినప్పటికీ, ప్రాసెస్ చేయడానికి ఇంకా పెద్ద సంఖ్యలో పనులు ఉన్నాయి.

అమిన్ టూటూన్చియన్: మెషిన్ లెర్నింగ్ ఎక్కువగా తీర్పు యొక్క ఖచ్చితత్వంపై ఆధారపడి ఉంటుందని నేను అనుకుంటున్నాను. ముందస్తు శిక్షణ ప్రారంభమైన తర్వాత, పెద్ద సంఖ్యలో నాయిస్ సిగ్నల్‌లను ఎదుర్కొన్నప్పుడు, మేము టీ ఆకులను అర్థం చేసుకునే అదృష్టాన్ని చెప్పే వారిలా ఉంటాము మరియు సిస్టమ్ ఆరోగ్యంగా ఉందో లేదో మనం తీర్పు చెప్పాలి. ఇది మా బాధ్యత.

సామ్ ఆల్ట్‌మన్: సిస్టమ్ స్థాయిలో, మోడల్ శిక్షణ నిర్వహించకుండా మనల్ని ఏమి పరిమితం చేస్తుంది? ఇది చిప్స్, ప్రాసెసర్లు, మెమరీ, నెట్‌వర్క్ లేదా పవర్?

అమిన్ టూటూన్చియన్: సహ-రూపకల్పన చేస్తున్నప్పుడు సిస్టమ్ యొక్క అందం ఏమిటంటే, వర్క్‌లోడ్ మీరు నిర్మించే మౌలిక సదుపాయాలకు అనుగుణంగా ఉంటుంది. ఇక్కడ నెట్‌వర్క్ అడ్డంకి అని లేదా మెమరీ బ్యాండ్‌విడ్త్ అడ్డంకి అని సాధారణంగా చెప్పడానికి ఏమీ లేదు. అదే స్పెసిఫికేషన్ యొక్క నమూనాల కోసం కూడా, మేము వనరుల