ফক্সব্রেইন: ফক্সকনের ট্র্যাডিশনাল চাইনিজ এলএলএম

দ্রুত অগ্রগতি: দক্ষ প্রশিক্ষণ এবং স্থানীয়করণ

ফক্সব্রেইনের উন্নয়নে দক্ষতার পরিচয় পাওয়া যায়। মাত্র চার সপ্তাহের মধ্যে, ফক্সকনের টিম এই জটিল এলএলএম তৈরি করেছে। দ্রুত উন্নয়ন চক্রটি একটি কৌশলগত পদ্ধতির উপর জোর দেয়। Hon Hai Research Institute-এর AI রিসার্চ সেন্টারের ডিরেক্টর ডঃ ইয়ুং-হুই লি বলেন, ‘আমাদের ফক্সব্রেইন মডেলটি খুব কার্যকর প্রশিক্ষণ কৌশল গ্রহণ করেছে, অন্ধভাবে কম্পিউটিং ক্ষমতা বাড়ানোর পরিবর্তে প্রশিক্ষণ প্রক্রিয়াটিকে অপ্টিমাইজ করার উপর দৃষ্টি নিবদ্ধ করেছে।’

এই দক্ষতা সক্ষমতার সাথে আপস করে না। ফক্সব্রেইন বিশেষভাবে ট্র্যাডিশনাল চাইনিজের জন্য তৈরি করা হয়েছে, স্থানীয় ভাষার ধরণগুলির জন্য অপ্টিমাইজ করা শক্তিশালী যুক্তি ক্ষমতা প্রদর্শন করে। স্থানীয়করণের উপর এই ফোকাসটি অত্যন্ত গুরুত্বপূর্ণ, যা মডেলটিকে ভাষার জটিলতাগুলি বুঝতে এবং প্রতিক্রিয়া জানাতে সাহায্য করে।

অভ্যন্তরীণ ব্যবহারের বাইরে: একটি ওপেন সোর্স ভিশন

প্রাথমিকভাবে ফক্সকনের অভ্যন্তরীণ কাজগুলিকে স্ট্রিমলাইন করার জন্য তৈরি করা হলেও, ফক্সব্রেইনের ভবিষ্যৎ কোম্পানির দেওয়ালের বাইরেও প্রসারিত। ডেটা বিশ্লেষণ, সিদ্ধান্ত গ্রহণে সহায়তা, ডকুমেন্ট কোলাবোরেশন এবং কোড জেনারেশনের মতো কাজগুলি এর অন্তর্ভুক্ত। এটি গণিত, যুক্তি এবং সমস্যা সমাধানের জন্য ডিজাইন করা হয়েছিল। ফক্সকন মডেলটিকে ওপেন সোর্স প্রযুক্তি হিসাবে প্রকাশ করার অভিপ্রায় ঘোষণা করেছে। এই পদক্ষেপটি তাইওয়ান এবং এর বাইরের ডেভেলপার এবং গবেষকদের ফক্সব্রেইনের সম্ভাবনাকে কাজে লাগাতে উৎসাহিত করবে।

ওপেন সোর্সের প্রতি এই অঙ্গীকারটি AI কমিউনিটির একটি বৃহত্তর প্রবণতার সাথে সঙ্গতিপূর্ণ। ফক্সব্রেইনকে বৃহত্তর সম্প্রদায়ের কাছে উপলব্ধ করার মাধ্যমে, ফক্সকন কেবল AI-এর অগ্রগতিতে অবদান রাখছে না, সেইসাথে একটি সম্মিলিত অগ্রগতির চেতনাকেও উৎসাহিত করছে।

অংশীদারিত্বের শক্তি: Nvidia-র দক্ষতার ব্যবহার

ফক্সব্রেইন তৈরিতে Nvidia একটি গুরুত্বপূর্ণ ভূমিকা পালন করেছে। প্রশিক্ষণ প্রক্রিয়ায় 120 টি Nvidia H100 GPU ব্যবহার করা হয়েছে, যা Nvidia-র Quantum-2 InfiniBand নেটওয়ার্কিং প্রযুক্তির মাধ্যমে সংযুক্ত। এই সেটআপটি উচ্চ-গতির ডেটা স্থানান্তরকে সক্ষম করেছে, যা এই স্কেলের একটি মডেলকে দক্ষতার সাথে প্রশিক্ষণ দেওয়ার জন্য গুরুত্বপূর্ণ।

Nvidia-র সমর্থন কেবল হার্ডওয়্যার সরবরাহের মধ্যেই সীমাবদ্ধ ছিল না। কোম্পানির Taipei-1 সুপারকম্পিউটার সুবিধা এবং প্রযুক্তিগত পরামর্শ ফক্সকনকে Nvidia-র NeMo ফ্রেমওয়ার্ক ব্যবহার করতে সাহায্য করেছে, যা AI মডেল তৈরি এবং কাস্টমাইজ করার জন্য একটি শক্তিশালী টুলকিট। এই অংশীদারিত্ব হার্ডওয়্যার এবং সফ্টওয়্যার দক্ষতার মধ্যে সমন্বয়কে তুলে ধরে।

একটি দৃঢ় ভিত্তির উপর স্থাপন: Llama 3.1 আর্কিটেকচার

ফক্সব্রেইনের আর্কিটেকচার মেটা’র Llama 3.1-এর উপর ভিত্তি করে তৈরি, যা ওপেন সোর্স সহযোগিতার শক্তির একটি প্রমাণ। এই ভিত্তি একটি শক্তিশালী এবং পরীক্ষিত ফ্রেমওয়ার্ক সরবরাহ করে, যেখানে 70 বিলিয়ন প্যারামিটার রয়েছে। এই প্যারামিটারগুলি হল অ্যাডজাস্টেবল মান যা AI সিস্টেম ডেটা থেকে শেখার সাথে সাথে ফাইন-টিউন করে, মডেলের সঞ্চিত জ্ঞানকে উপস্থাপন করে।

Llama 3.1-কে একটি সূচনা বিন্দু হিসাবে বেছে নেওয়ার সিদ্ধান্তটি বিদ্যমান, প্রমাণিত প্রযুক্তি ব্যবহারের একটি কৌশলগত সিদ্ধান্ত। এই পদ্ধতিটি ফক্সকনকে ট্র্যাডিশনাল চাইনিজের নির্দিষ্ট চাহিদা অনুযায়ী মডেলটিকে তৈরি করতে এবং এর উদ্দিষ্ট অ্যাপ্লিকেশনের জন্য এর কর্মক্ষমতা অপ্টিমাইজ করার উপর দৃষ্টি নিবদ্ধ করতে সাহায্য করে।

প্রতিযোগিতাকে ছাড়িয়ে যাওয়া: ফক্সব্রেইনের সক্ষমতার বেঞ্চমার্কিং

ফক্সকনের অভ্যন্তরীণ পরীক্ষায় দেখা গেছে যে ফক্সব্রেইন Llama-3-Taiwan-70B-কে ছাড়িয়ে গেছে, যা একই আকারের আরেকটি ট্র্যাডিশনাল চাইনিজ ভাষার মডেল। এই উন্নত কর্মক্ষমতা ফক্সকনের প্রশিক্ষণ কৌশল এবং স্থানীয়করণের উপর এর ফোকাসের কার্যকারিতাকে তুলে ধরে।

উল্লেখযোগ্যভাবে, ফক্সব্রেইন বেস মেটা Llama 3.1 মডেলের তুলনায় গাণিতিক কর্মক্ষমতায় উল্লেখযোগ্য উন্নতি দেখায়। এই উন্নত গাণিতিক ক্ষমতা বিশেষভাবে উত্পাদন, সাপ্লাই চেইন ম্যানেজমেন্ট এবং পরিমাণগত বিশ্লেষণের উপর নির্ভরশীল অন্যান্য ক্ষেত্রের অ্যাপ্লিকেশনের জন্য প্রাসঙ্গিক।

কর্মক্ষমতার গভীরে: TMMLU+ বেঞ্চমার্ক

ফক্সব্রেইনের ক্ষমতাগুলিকে কঠোরভাবে মূল্যায়ন করার জন্য, ফক্সকন TMMLU+ বেঞ্চমার্ক ব্যবহার করেছে, একটি বিস্তৃত পরীক্ষা যা জ্ঞানের বিভিন্ন ক্ষেত্রে কর্মক্ষমতা পরিমাপ করে। ফলাফলগুলি ফক্সব্রেইনের গণিত এবং লজিক্যাল রিজনিং-এর শক্তিগুলিকে তুলে ধরে, বাস্তব-বিশ্বের অ্যাপ্লিকেশনের জন্য এর সম্ভাবনাকে আরও বৈধ করে।

TMMLU+ বেঞ্চমার্ক ফক্সব্রেইনের কর্মক্ষমতাকে অন্যান্য মডেলের সাথে তুলনা করার একটি প্রমিত উপায় সরবরাহ করে, এর শক্তি এবং সম্ভাব্য উন্নতির ক্ষেত্রগুলির একটি পরিষ্কার চিত্র দেয়। উদ্দেশ্যমূলক মূল্যায়নের প্রতি এই অঙ্গীকার ফক্সকনের স্বচ্ছতা এবং ক্রমাগত উন্নতির প্রতি উৎসর্গকে তুলে ধরে।

ডেটা অগমেন্টেশনের শিল্প: প্রশিক্ষণ কর্পাস প্রসারিত করা

ফক্সব্রেইনের সাফল্যের একটি মূল উপাদান হল এর অত্যাধুনিক ডেটা অগমেন্টেশন কৌশল। এর মধ্যে প্রশিক্ষণ ডেটা প্রসারিত এবং উন্নত করার জন্য কৌশলগুলি ব্যবহার করা জড়িত, এটি নিশ্চিত করে যে মডেলটি বিভিন্ন এবং প্রতিনিধিত্বমূলক ভাষাগত প্যাটার্নের সংস্পর্শে আসে।

ফক্সকনের টিম 24 টি স্বতন্ত্র বিষয়ের বিভাগে নিজস্ব ডেটা অগমেন্টেশন পদ্ধতি তৈরি করেছে, যার ফলে ট্র্যাডিশনাল চাইনিজের জন্য 98 বিলিয়ন টোকেনের একটি বিশাল প্রি-ট্রেনিং ডেটাসেট তৈরি হয়েছে। টোকেনগুলি টেক্সটের ইউনিটগুলিকে উপস্থাপন করে যা AI সিস্টেম প্রক্রিয়া করে, সাধারণত শব্দ বা শব্দের অংশ নিয়ে গঠিত। এই বিস্তৃত ডেটাসেটটি এমন একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য অত্যন্ত গুরুত্বপূর্ণ যা বিভিন্ন ধরণের ভাষাগত সূক্ষ্মতা বুঝতে এবং প্রতিক্রিয়া জানাতে পারে।

কনটেক্সট হল রাজা: বোঝার জন্য একটি বিস্তৃত উইন্ডো

ফক্সব্রেইন 128,000 টোকেনের একটি কনটেক্সট উইন্ডো নিয়ে গর্ব করে। এই চিত্তাকর্ষক ক্ষমতা নির্ধারণ করে যে মডেলটি একবারে কতটা তথ্য বিবেচনা করতে পারে, এটিকে বিস্তৃত কথোপকথনের ইতিহাস বা নথির বিষয়বস্তু সম্পর্কে সচেতনতা বজায় রাখতে সক্ষম করে। এটি ছোট কনটেক্সট উইন্ডো সহ মডেলগুলির তুলনায় একটি উল্লেখযোগ্য সুবিধা, যা ফক্সব্রেইনকে একটি কথোপকথন বা টেক্সটের বৃহত্তর প্রেক্ষাপট উপলব্ধি করতে দেয়, যার ফলে আরও সুসংগত এবং প্রাসঙ্গিক প্রতিক্রিয়া পাওয়া যায়।

একটি বৃহত্তর কনটেক্সট উইন্ডো বিশেষভাবে সেই কাজগুলির জন্য উপকারী যেগুলির জন্য একটি টেক্সটের বিভিন্ন অংশের মধ্যে জটিল সম্পর্ক বোঝা প্রয়োজন, যেমন দীর্ঘ নথি সংক্ষিপ্ত করা বা এমন প্রশ্নের উত্তর দেওয়া যার জন্য একাধিক উৎস থেকে তথ্য একত্রিত করা প্রয়োজন।

মূল উদ্ভাবন: প্রযুক্তিগত সাফল্যের একটি সারসংক্ষেপ

ফক্সব্রেইনের উন্নয়নে ফক্সকনের বেশ কয়েকটি মূল উদ্ভাবন রয়েছে:

• নিজস্ব ডেটা অগমেন্টেশন: 24 টি বিষয়ের বিভাগের জন্য অনন্য ডেটা অগমেন্টেশন এবং গুণমান মূল্যায়ন কৌশল তৈরি করা প্রশিক্ষণ ডেটাকে উল্লেখযোগ্যভাবে সমৃদ্ধ করেছে।
• দক্ষ GPU ব্যবহার: মডেলটি 120 টি Nvidia H100 GPU ব্যবহার করে মোট 2,688GPU দিনে প্রশিক্ষিত হয়েছিল, যা গণনামূলক সংস্থানগুলির একটি অত্যন্ত দক্ষ ব্যবহার প্রদর্শন করে।
• মাল্টি-নোড প্যারালাল ট্রেনিং: সর্বোত্তম কর্মক্ষমতা এবং সিস্টেমের স্থিতিশীলতা নিশ্চিত করার জন্য একটি মাল্টি-নোড প্যারালাল ট্রেনিং ফ্রেমওয়ার্ক প্রয়োগ করা হয়েছিল, যা মডেলটিকে কার্যকরভাবে স্কেল করার অনুমতি দেয়।
• অ্যাডাপ্টিভ রিজনিং রিফ্লেকশন: মডেলের স্বায়ত্তশাসিত যুক্তি ক্ষমতা বাড়ানোর জন্য একটি উদ্ভাবনী অ্যাডাপ্টিভ রিজনিং রিফ্লেকশন পদ্ধতি চালু করা হয়েছিল, যা সময়ের সাথে সাথে এর যুক্তি দক্ষতা শিখতে এবং উন্নত করতে সক্ষম করে।

ভবিষ্যতের একটি ঝলক: ক্রমাগত উন্নতি এবং সহযোগিতা

ডঃ ইয়ুং-হুই লি স্বীকার করেছেন যে ফক্সব্রেইন চিত্তাকর্ষক কর্মক্ষমতা প্রদর্শন করলেও, এখনও উন্নতির অবকাশ রয়েছে। তিনি DeepSeek-এর ডিস্টিলেশন মডেলের তুলনায় কর্মক্ষমতার ব্যবধানের কথা উল্লেখ করেছেন, আরেকটি AI সিস্টেম যা দক্ষ জ্ঞান স্থানান্তরের উপর দৃষ্টি নিবদ্ধ করে। যাইহোক, তিনি জোর দিয়ে বলেন যে ফক্সব্রেইনের কর্মক্ষমতা ‘বিশ্ব-নেতৃস্থানীয় মানের’ কাছাকাছি।

ক্রমাগত উন্নতির প্রতি এই অঙ্গীকার ফক্সকনের পদ্ধতির একটি বৈশিষ্ট্য। কোম্পানি ফক্সব্রেইনকে পরিমার্জিত করতে, নতুন কৌশল অন্বেষণ করতে এবং ওপেন সোর্স সম্প্রদায় থেকে প্রতিক্রিয়া কাজে লাগিয়ে এর ক্ষমতা আরও বাড়ানোর পরিকল্পনা করেছে।

দিগন্ত প্রসারিত করা: সহযোগিতামূলক অ্যাপ্লিকেশন

প্রাথমিকভাবে অভ্যন্তরীণ ব্যবহারের জন্য ডিজাইন করা হলেও, ফক্সকন এমন একটি ভবিষ্যতের কল্পনা করে যেখানে ফক্সব্রেইনের ক্ষমতাগুলি তার নিজস্ব কার্যক্রমের বাইরেও প্রসারিত হবে। কোম্পানিটি প্রযুক্তি অংশীদারদের সাথে সক্রিয়ভাবে সহযোগিতা করার পরিকল্পনা করেছে যাতে নতুন অ্যাপ্লিকেশনগুলি অন্বেষণ করা যায় এবং উত্পাদন, সাপ্লাই চেইন ম্যানেজমেন্ট এবং সিদ্ধান্ত গ্রহণের প্রক্রিয়াগুলিতে AI-এর ব্যবহারকে প্রচার করা যায়।

এই সহযোগিতামূলক পদ্ধতি ফক্সকনের ওপেন সোর্স দর্শনের সাথে সঙ্গতিপূর্ণ, এটি স্বীকার করে যে AI-এর প্রকৃত সম্ভাবনা কেবল ভাগ করা জ্ঞান এবং সম্মিলিত প্রচেষ্টার মাধ্যমেই আনলক করা যেতে পারে। অন্যান্য সংস্থার সাথে অংশীদারিত্বের মাধ্যমে, ফক্সকন AI-এর গ্রহণকে ত্বরান্বিত করতে এবং বিভিন্ন শিল্পে উদ্ভাবনকে চালিত করতে চায়।

উদ্ভাবন প্রদর্শন: Nvidia GTC 2025-এ উপস্থাপনা

Nvidia GTC 2025 সম্মেলনে ফক্সকনের উপস্থাপনা বৃহত্তর AI সম্প্রদায়ের সাথে তার অগ্রগতি ভাগ করে নেওয়ার প্রতিশ্রুতির আরও একটি প্রমান। ‘ওপেন সোর্স থেকে ফ্রন্টিয়ার AI: ফাউন্ডেশন মডেল তৈরি, কাস্টমাইজ এবং প্রসারিত করুন’ শিরোনামের অধিবেশনটি ফক্সব্রেইনের উন্নয়ন প্রদর্শন এবং ওপেন সোর্স AI-এর বিস্তৃত প্রভাব নিয়ে আলোচনা করার জন্য একটি প্ল্যাটফর্ম সরবরাহ করবে।

এই উপস্থাপনাটি ফক্সকনের স্বচ্ছতার প্রতি অঙ্গীকার এবং AI-এর ভবিষ্যত সম্পর্কিত চলমান সংলাপে অবদান রাখার ইচ্ছাকে তুলে ধরে। তার অভিজ্ঞতা এবং অন্তর্দৃষ্টি ভাগ করে নেওয়ার মাধ্যমে, ফক্সকন AI সম্প্রদায়ের মধ্যে আরও উদ্ভাবন এবং সহযোগিতাকে অনুপ্রাণিত করতে চায়। উপস্থাপনাটি 20শে মার্চ অনুষ্ঠিত হয়েছিল।