মাইক্রোসফট ফাই: এআই-তে ছোট ভাষার মডেলের অগ্রগতি
অ্যাজুর এআই ফাউন্ড্রিতে ফাই-3 প্রকাশের সাথে ছোট ভাষার মডেলের (SLM) পরিসর প্রবর্তনের এক বছর পর, মাইক্রোসফট তার পরবর্তী প্রজন্মের মডেল উন্মোচন করেছে: ফাই-4-রিজনিং, ফাই-4-রিজনিং-প্লাস এবং ফাই-4-মিনি-রিজনিং। এই উদ্ভাবনগুলি SLM-এর জন্য একটি নতুন দিগন্ত উন্মোচন করে, যা কমপ্যাক্ট এবং দক্ষ এআই-এর সাথে কী অর্জন করা সম্ভব তা পুনরায় সংজ্ঞায়িত করে।
ফাই-রিজনিং মডেলের সূচনা
নতুন ফাই-রিজনিং মডেলগুলি জটিল কাজগুলির জন্য অনুমান-সময় স্কেলিং ব্যবহার করার জন্য তৈরি করা হয়েছে যা বহু-পদক্ষেপের বিভাজন এবং অভ্যন্তরীণ প্রতিফলন দাবি করে। এই মডেলগুলি গাণিতিক যুক্তিতে ব্যতিক্রমী ক্ষমতা প্রদর্শন করে, যা জটিল এবং বহুমাত্রিক কাজগুলি পরিচালনা করে এমন এজেন্ট-সদৃশ অ্যাপ্লিকেশনগুলির ভিত্তি হিসাবে নিজেদের প্রতিষ্ঠিত করে। ঐতিহাসিকভাবে, এই ধরনের ক্ষমতাগুলি উল্লেখযোগ্যভাবে বড় মডেলগুলির জন্য বিশেষভাবে প্রযোজ্য ছিল। ফাই-রিজনিং মডেলগুলি SLM-এর একটি নতুন শ্রেণী প্রবর্তন করে যা আকার এবং কর্মক্ষমতার মধ্যে ভারসাম্য বজায় রাখতে ডিস্টিলেশন, রিইনফোর্সমেন্ট লার্নিং এবং উচ্চ-মানের ডেটা ব্যবহার করে। তাদের কমপ্যাক্ট আকার তাদের কম-বিলম্বিত পরিবেশের জন্য উপযুক্ত করে তোলে, যেখানে তাদের শক্তিশালী যুক্তিবোধের ক্ষমতা অনেক বড় মডেলের সাথে প্রতিদ্বন্দ্বিতা করে। দক্ষতা এবং সক্ষমতার এই মিশ্রণ এমনকি সীমিত সম্পদের ডিভাইসগুলিকেও কার্যকরভাবে জটিল যুক্তিবোধের কাজগুলি সম্পাদন করতে দেয়।
ফাই-4-রিজনিং এবং ফাই-4-রিজনিং-প্লাস: আরও গভীরে
ফাই-4-রিজনিং: ওপেন-ওয়েট রিজনিং মডেল
ফাই-4-রিজনিং 14 বিলিয়ন প্যারামিটার সহ একটি ওপেন-ওয়েট রিজনিং মডেল হিসাবে দাঁড়িয়ে আছে। এটি জটিল যুক্তিবোধের কাজে উল্লেখযোগ্যভাবে বড় মডেলের সাথে প্রতিদ্বন্দ্বিতা করার জন্য ডিজাইন করা হয়েছে। এই মডেলটি ওপেনএআই-এর ও3-মিনি থেকে প্রাপ্ত সতর্কতার সাথে তৈরি করা রিজনিং উদাহরণের উপর ফাই-4-এর তত্ত্বাবধানে সূক্ষ্ম টিউনিংয়ের মাধ্যমে প্রশিক্ষিত হয়েছিল। ফাই-4-রিজনিং বিস্তারিত রিজনিং চেইন তৈরি করে, যা অনুমানের সময় অতিরিক্ত গণনার সময়কে কার্যকরভাবে ব্যবহার করে। এই কৃতিত্বটি প্রমাণ করে যে কীভাবে সুনির্দিষ্ট ডেটা কিউরেশন এবং উচ্চ-মানের সিন্থেটিক ডেটাসেট ছোট মডেলগুলিকে তাদের বড় প্রতিপক্ষের সাথে প্রতিদ্বন্দ্বিতা করতে সক্ষম করে।
ফাই-4-রিজনিং-প্লাস: রিইনফোর্সমেন্ট লার্নিংয়ের সাথে রিজনিং বৃদ্ধি করা
ফাই-4-রিজনিং-এর ক্ষমতার উপর ভিত্তি করে, ফাই-4-রিজনিং-প্লাস অনুমানের সময় অতিরিক্ত গণনার সময়কে কাজে লাগানোর জন্য রিইনফোর্সমেন্ট লার্নিংয়ের সাথে আরও প্রশিক্ষণ নেয়। এটি ফাই-4-রিজনিংয়ের চেয়ে 1.5 গুণ বেশি টোকেন প্রক্রিয়া করে, যার ফলে নির্ভুলতা বৃদ্ধি পায়।
কর্মক্ষমতা বেঞ্চমার্ক
তাদের উল্লেখযোগ্যভাবে ছোট আকার সত্ত্বেও, ফাই-4-রিজনিং এবং ফাই-4-রিজনিং-প্লাস উভয়ই গাণিতিক যুক্তি এবং পিএইচডি-স্তরের বৈজ্ঞানিক অনুসন্ধান সহ বিভিন্ন বেঞ্চমার্কে ওপেনএআই-এর ও1-মিনি এবং ডিপসিক-আর1-ডিস্টিল-লামা-70বি-কে ছাড়িয়ে গেছে। উল্লেখযোগ্যভাবে, তারা এমনকি এআইএমই 2025 পরীক্ষায় সম্পূর্ণ ডিপসিক-আর1 মডেলকে (671 বিলিয়ন প্যারামিটার সহ) ছাড়িয়ে গেছে, যা 2025 সালের জন্য ইউএসএ ম্যাথ অলিম্পিয়াডের যোগ্যতা অর্জনকারী প্রতিযোগিতা হিসাবে কাজ করে। উভয় মডেলই অ্যাজুর এআই ফাউন্ড্রি এবং হাগিং ফেসে সহজেই অ্যাক্সেসযোগ্য।
ফাই-4-মিনি-রিজনিং: সীমিত পরিবেশের জন্য কমপ্যাক্ট পাওয়ার হাউস
ফাই-4-মিনি-রিজনিং বিশেষভাবে একটি কমপ্যাক্ট রিজনিং মডেলের চাহিদা মেটাতে ডিজাইন করা হয়েছে। এই ট্রান্সফরমার-ভিত্তিক ভাষার মডেলটি গাণিতিক যুক্তির জন্য অপ্টিমাইজ করা হয়েছে এবং এমন পরিবেশে উচ্চ-মানের, ধাপে ধাপে সমস্যা সমাধানের ক্ষমতা সরবরাহ করে যেখানে কম্পিউটিং শক্তি বা বিলম্ব সীমাবদ্ধ। ডিপসিক-আর1 মডেল দ্বারা উত্পন্ন সিন্থেটিক ডেটা ব্যবহার করে সূক্ষ্ম টিউন করা, এটি কার্যকরভাবে উন্নত যুক্তিবোধের ক্ষমতার সাথে দক্ষতার ভারসাম্য বজায় রাখে। এটি শিক্ষামূলক অ্যাপ্লিকেশন, এম্বেডেড টিউটরিং সিস্টেম এবং প্রান্ত বা মোবাইল সিস্টেমে হালকা স্থাপনার জন্য আদর্শ করে তোলে। মডেলটি মিলিয়ন-এর বেশি বিভিন্ন গাণিতিক সমস্যার উপর প্রশিক্ষিত, যার অসুবিধা মধ্য বিদ্যালয় থেকে পিএইচডি-স্তর পর্যন্ত বিস্তৃত, যা বিস্তৃত শিক্ষাগত প্রেক্ষাপটে এর বহুমুখিতা এবং কার্যকারিতা নিশ্চিত করে।
কর্মক্ষেত্রে ফাই: দিগন্ত প্রসারিত করা
গত বছর ধরে ফাই-এর বিবর্তন ধারাবাহিকভাবে আকারের তুলনায় গুণমানের সীমানা প্রসারিত করেছে, পরিবারের বিভিন্ন চাহিদা অনুসারে নতুন বৈশিষ্ট্য অন্তর্ভুক্ত করার জন্য প্রসারিত হয়েছে। এই মডেলগুলি বিভিন্ন উইন্ডোজ 11 ডিভাইসে সিপিইউ এবং জিপিইউ উভয়টিতে স্থানীয়ভাবে চালানো যেতে পারে, যা বিভিন্ন হার্ডওয়্যার কনফিগারেশন সহ ব্যবহারকারীদের জন্য নমনীয়তা এবং অ্যাক্সেসযোগ্যতা সরবরাহ করে।
কোপাইলট+ পিসি-র সাথে ইন্টিগ্রেশন: এআই-চালিত কম্পিউটিংয়ের একটি নতুন যুগ
ফাই মডেলগুলি কোপাইলট+ পিসি-র একটি অবিচ্ছেদ্য অংশ, যা এনপিইউ-অপ্টিমাইজড ফাই সিলিকা ভেরিয়েন্ট ব্যবহার করে। অপারেটিং সিস্টেম দ্বারা পরিচালিত ফাই-এর এই অত্যন্ত দক্ষ সংস্করণটি মেমরিতে প্রি-লোড করার জন্য ডিজাইন করা হয়েছে, যা দ্রুত প্রতিক্রিয়ার সময় এবং শক্তি-দক্ষ টোকেন থ্রুপুট সরবরাহ করে। এটি পিসিতে অন্যান্য অ্যাপ্লিকেশনগুলির সাথে একযোগে আহ্বান করা যেতে পারে, যা মাল্টিটাস্কিং ক্ষমতা এবং সামগ্রিক সিস্টেমের কর্মক্ষমতা বৃদ্ধি করে।
বাস্তব বিশ্বের অ্যাপ্লিকেশন
ফাই মডেলগুলি ইতিমধ্যে ক্লিক টু ডু-এর মতো মূল অভিজ্ঞতাগুলিতে ব্যবহৃত হচ্ছে, যা সমস্ত অন-স্ক্রীন সামগ্রীর জন্য বুদ্ধিমান পাঠ্য সরঞ্জাম সরবরাহ করে। এগুলি অ্যাপ্লিকেশনগুলিতে নির্বিঘ্নে সংহতকরণের জন্য বিকাশকারী এপিআই হিসাবেও উপলব্ধ। মডেলগুলি বর্তমানে আউটলুকের মতো বিভিন্ন উত্পাদনশীলতা অ্যাপ্লিকেশনগুলিতে ব্যবহৃত হচ্ছে, যেখানে তারা অফলাইন কোপাইলট সংক্ষিপ্তকরণ বৈশিষ্ট্য সরবরাহ করে। ফাই-4-রিজনিং এবং ফাই-4-মিনি-রিজনিং মডেলগুলি ফাই সিলিকার জন্য লো-বিট অপ্টিমাইজেশন ব্যবহার করে এবং শীঘ্রই কোপাইলট+ পিসি এনপিইউগুলিতে চালানোর জন্য উপলব্ধ হবে।
দায়িত্বশীল এআই এবং সুরক্ষার প্রতি মাইক্রোসফটের প্রতিশ্রুতি
মাইক্রোসফটে, দায়িত্বশীল এআই একটি মৌলিক নীতি যা ফাই মডেল সহ এআই সিস্টেমের বিকাশ এবং স্থাপনকে নির্দেশ করে। ফাই মডেলগুলি মাইক্রোসফট এআই নীতিগুলির সাথে সঙ্গতি রেখে তৈরি করা হয়েছে: জবাবদিহিতা, স্বচ্ছতা, ন্যায্যতা, নির্ভরযোগ্যতা এবং সুরক্ষা, গোপনীয়তা এবং সুরক্ষা এবং অন্তর্ভুক্তি। মডেলগুলির ফাই পরিবার তাদের দায়িত্বশীল এবং নৈতিক ব্যবহার নিশ্চিত করার জন্য তত্ত্বাবধানে সূক্ষ্ম টিউনিং (এসএফটি), সরাসরি পছন্দ অপ্টিমাইজেশন (ডিপিও), এবং মানব প্রতিক্রিয়া থেকে রিইনফোর্সমেন্ট লার্নিং (আরএলএইচএফ) কৌশলগুলির সংমিশ্রণ ব্যবহার করে প্রশিক্ষণ-পরবর্তী সুরক্ষার জন্য একটি শক্তিশালী পদ্ধতি নিযুক্ত করে।
ফাই মডেলগুলির প্রযুক্তিগত ভিত্তি: একটি বিস্তারিত পরীক্ষা
মাইক্রোসফটের ফাই মডেলগুলি ছোট ভাষার মডেলের ক্ষেত্রে একটি গুরুত্বপূর্ণ অগ্রগতি উপস্থাপন করে, বিশেষ করে তুলনামূলকভাবে কয়েকটি প্যারামিটার সহ জটিল যুক্তিবোধের কাজগুলি করার ক্ষমতাতে। এই বিভাগটি সেই প্রযুক্তিগত বিবরণগুলি নিয়ে আলোচনা করে যা এই মডেলগুলিকে এত চিত্তাকর্ষক কর্মক্ষমতা অর্জনে সক্ষম করে।
স্থাপত্য উদ্ভাবন
ফাই মডেলগুলি ট্রান্সফরমার আর্কিটেকচারের উপর ভিত্তি করে তৈরি, একটি গভীর শিক্ষার মডেল যা প্রাকৃতিক ভাষা প্রক্রিয়াকরণে বিপ্লব ঘটিয়েছে। ট্রান্সফরমারগুলি পাঠ্যের দীর্ঘ-পরিসরের নির্ভরতা ক্যাপচার করতে পারদর্শী, যা মডেলগুলিকে ভাষার প্রেক্ষাপট এবং সূক্ষ্মতা বুঝতে দেয়।
মনোযোগ প্রক্রিয়া: ট্রান্সফরমার আর্কিটেকচারের মূল হল মনোযোগ প্রক্রিয়া, যা মডেলটিকে আউটপুট তৈরি করার সময় ইনপুটের সবচেয়ে প্রাসঙ্গিক অংশের উপর মনোযোগ দিতে দেয়। এটি যুক্তিবোধের কাজগুলির জন্য বিশেষভাবে গুরুত্বপূর্ণ, যেখানে মডেলটিকে সঠিক সিদ্ধান্তে পৌঁছানোর জন্য মূল তথ্য এবং সম্পর্কগুলি সনাক্ত করতে হবে।
স্কেলড ডট-প্রোডাক্ট অ্যাটেনশন: ফাই মডেলগুলি স্কেলড ডট-প্রোডাক্ট অ্যাটেনশন ব্যবহার করে, মনোযোগ প্রক্রিয়ার একটি পরিমার্জিত সংস্করণ যা ডট প্রোডাক্টগুলিকে খুব বড় হওয়া থেকে আটকাতে একটি স্কেলিং ফ্যাক্টর অন্তর্ভুক্ত করে, যা প্রশিক্ষণের সময় অস্থিরতার দিকে পরিচালিত করতে পারে।
মাল্টি-হেড অ্যাটেনশন: ইনপুটের বিভিন্ন দিক ক্যাপচার করতে, ফাই মডেলগুলি মাল্টি-হেড অ্যাটেনশন নিয়োগ করে, যেখানে একাধিক মনোযোগ প্রক্রিয়া সমান্তরালভাবে কাজ করে। প্রতিটি হেড ইনপুটের একটি ভিন্ন উপসেটের উপর দৃষ্টি নিবদ্ধ করে, যা মডেলটিকে আরও জটিল উপস্থাপনা শিখতে দেয়।
ফিড-ফরোয়ার্ড নেটওয়ার্কস: মনোযোগ স্তরগুলির পরে, ট্রান্সফরমার আর্কিটেকচারে ফিড-ফরোয়ার্ড নেটওয়ার্ক অন্তর্ভুক্ত থাকে যা আরও তথ্য প্রক্রিয়া করে। এই নেটওয়ার্কগুলিতে নিউরনের একাধিক স্তর থাকে যা মনোযোগ আউটপুট থেকে বৈশিষ্ট্যগুলি বের করতে শেখে।
প্রশিক্ষণ পদ্ধতি: একটি বহুমাত্রিক পদ্ধতি
ফাই মডেলগুলির প্রশিক্ষণে তত্ত্বাবধানে সূক্ষ্ম টিউনিং, রিইনফোর্সমেন্ট লার্নিং এবং ডেটা ডিস্টিলেশন সহ কৌশলগুলির সংমিশ্রণ জড়িত।
তত্ত্বাবধানে সূক্ষ্ম টিউনিং (এসএফটি): তত্ত্বাবধানে সূক্ষ্ম টিউনিংয়ের মধ্যে একটি লেবেলযুক্ত ডেটাসেটে মডেলটিকে প্রশিক্ষণ দেওয়া জড়িত, যেখানে ইনপুট একটি প্রশ্ন বা সমস্যা, এবং আউটপুট হল সঠিক উত্তর বা সমাধান। এটি মডেলটিকে নির্দিষ্ট ইনপুটগুলিকে সংশ্লিষ্ট আউটপুটগুলির সাথে যুক্ত করতে শিখতে সহায়তা করে।
রিইনফোর্সমেন্ট লার্নিং (আরএল): রিইনফোর্সমেন্ট লার্নিং হল এমন একটি কৌশল যেখানে মডেলটি একটি পরিবেশের সাথে মিথস্ক্রিয়া করে এবং তার কর্মের জন্য পুরস্কার বা জরিমানা পাওয়ার মাধ্যমে সিদ্ধান্ত নিতে শেখে। ভাষার মডেলের প্রেক্ষাপটে, পরিবেশটি নিয়মের একটি সেট বা সীমাবদ্ধতা হতে পারে এবং পুরস্কার মডেলের প্রতিক্রিয়াগুলির নির্ভুলতার উপর ভিত্তি করে তৈরি করা যেতে পারে।
ডেটা ডিস্টিলেশন: ডেটা ডিস্টিলেশন হল একটি কৌশল যেখানে একটি ছোট মডেলকে একটি বৃহত্তর, আরও জটিল মডেলের আচরণ অনুকরণ করার জন্য প্রশিক্ষণ দেওয়া হয়। এটি ছোট মডেলটিকে কম সংস্থান প্রয়োজন হলেও বৃহত্তর মডেলের সাথে তুলনীয় কর্মক্ষমতা অর্জন করতে দেয়।
ডেটা কিউরেশন: কর্মক্ষমতার ভিত্তিপ্রস্তর
ফাই মডেলগুলির কর্মক্ষমতা প্রশিক্ষণের জন্য ব্যবহৃত ডেটার মানের উপর ব্যাপকভাবে নির্ভরশীল। মাইক্রোসফট উচ্চ-মানের ডেটাসেটগুলি কিউরেট করার জন্য উল্লেখযোগ্য প্রচেষ্টা বিনিয়োগ করেছে যা বিশেষভাবে যুক্তিবোধের কাজগুলির জন্য ডিজাইন করা হয়েছে।
সিন্থেটিক ডেটা জেনারেশন: উপলব্ধ ডেটা বাড়ানোর জন্য, মাইক্রোসফট সিন্থেটিক ডেটা তৈরি করার জন্য কৌশল তৈরি করেছে যা বাস্তব-বিশ্বের ডেটার বৈশিষ্ট্যগুলিকে অনুকরণ করে। এটি মডেলগুলিকে একটি বৃহত্তর এবং আরও বৈচিত্র্যময় ডেটাসেটে প্রশিক্ষিত হতে দেয়, যা তাদের সাধারণীকরণ ক্ষমতাকে উন্নত করে।
ডেটা ফিল্টারিং: মাইক্রোসফট প্রশিক্ষণ ডেটাসেট থেকে গোলমাল বা অপ্রাসঙ্গিক ডেটা অপসারণ করতে কঠোর ডেটা ফিল্টারিং কৌশল নিয়োগ করে। এটি নিশ্চিত করে যে মডেলগুলিকে পরিষ্কার এবং নির্ভুল ডেটাতে প্রশিক্ষণ দেওয়া হয়েছে, যা আরও ভাল কর্মক্ষমতার দিকে পরিচালিত করে।
ডেটা অগমেন্টেশন: ডেটা অগমেন্টেশন কৌশলগুলি বিদ্যমান ডেটাতে রূপান্তর প্রয়োগ করে প্রশিক্ষণ ডেটাসেটের বৈচিত্র্য বাড়াতে ব্যবহৃত হয়। এটি মডেলগুলিকে ইনপুটের বিভিন্নতার জন্য আরও শক্তিশালী হতে সহায়তা করে।
অপ্টিমাইজেশন কৌশল: দক্ষতা এবং নির্ভুলতার ভারসাম্য
ফাই মডেলগুলি দক্ষতা এবং নির্ভুলতা উভয়ের জন্য অপ্টিমাইজ করা হয়েছে, যা তাদের কর্মক্ষমতা ত্যাগ না করে সম্পদ-সীমাবদ্ধ ডিভাইসগুলিতে চালানোর অনুমতি দেয়।
কোয়ান্টাইজেশন: কোয়ান্টাইজেশন হল একটি কৌশল যেখানে মডেলের প্যারামিটারগুলির নির্ভুলতা হ্রাস করা হয়, যা মডেলের মেমরি ফুটপ্রিন্ট এবং গণনা প্রয়োজনীয়তা হ্রাস করে।
ছাঁটাই: ছাঁটাই হল একটি কৌশল যেখানে মডেলের কম গুরুত্বপূর্ণ সংযোগগুলি সরানো হয়, যা মডেলের আকার এবং জটিলতা হ্রাস করে।
জ্ঞান ডিস্টিলেশন: জ্ঞান ডিস্টিলেশনের মধ্যে একটি বৃহত্তর, আরও জটিল মডেল থেকে একটি ছোট মডেলে জ্ঞান স্থানান্তর করা জড়িত। এটি ছোট মডেলটিকে কম সংস্থান প্রয়োজন হলেও বৃহত্তর মডেলের সাথে তুলনীয় কর্মক্ষমতা অর্জন করতে দেয়।
ফাই সিলিকা এনপিইউ: একটি হার্ডওয়্যার-সফ্টওয়্যার সিনারজিস্টিক পদ্ধতি
মাইক্রোসফটের ফাই মডেলগুলি ফাই সিলিকা এনপিইউ (নিউরনাল প্রসেসিং ইউনিট)-এর সাথে ঘনিষ্ঠভাবে একত্রিত করার জন্য ডিজাইন করা হয়েছে, একটি বিশেষ হার্ডওয়্যার অ্যাক্সিলারেটর যা গভীর শিক্ষার কাজের চাপের জন্য অপ্টিমাইজ করা হয়েছে।
লো-বিট অপ্টিমাইজেশন: ফাই সিলিকা এনপিইউ লো-বিট অপ্টিমাইজেশন সমর্থন করে, যা মডেলগুলিকে হ্রাসকৃত নির্ভুলতার সাথে চালানোর অনুমতি দেয়, আরও তাদের মেমরি ফুটপ্রিন্ট এবং গণনা প্রয়োজনীয়তা হ্রাস করে।
মেমরিতে প্রি-লোডিং: ফাই মডেলগুলি মেমরিতে প্রি-লোড করার জন্য ডিজাইন করা হয়েছে, যা তাদের দ্রুত এবং দক্ষতার সাথে আহ্বান করার অনুমতি দেয়।
অপারেটিং সিস্টেম ম্যানেজমেন্ট: ফাই সিলিকা এনপিইউ অপারেটিং সিস্টেম দ্বারা পরিচালিত হয়, যা এটিকে ব্যবহারকারীর অভিজ্ঞতায় নির্বিঘ্নে একত্রিত হওয়ার অনুমতি দেয়।
সংক্ষেপে, মাইক্রোসফটের ফাই মডেলগুলি ছোট ভাষার মডেলের ক্ষেত্রে একটি উল্লেখযোগ্য অর্জন উপস্থাপন করে। উদ্ভাবনী স্থাপত্য নকশা, কঠোর প্রশিক্ষণ পদ্ধতি, সতর্ক ডেটা কিউরেশন এবং হার্ডওয়্যার-সফ্টওয়্যার সহ-নকশা একত্রিত করে, মাইক্রোসফট মডেলগুলির একটি পরিবার তৈরি করেছে যা শক্তিশালী এবং দক্ষ উভয়ই, যা এআই-চালিত অ্যাপ্লিকেশনগুলির একটি বিস্তৃত পরিসর সক্ষম করে।